2014年11月10日月曜日

第33回助教の会







今回は、中川研の佐藤一誠が担当しました。
東大病院との共同研究として行っているプロジェクトの1つである
「深層学習(Deep Learning)とベイズ的最適化(Bayesian Optimization)による医用画像読影支援の試み」について説明しました。

これまでは論文を書いて投稿してを繰り返す日々でしたが、アカデミアの研究者としては、論文以外の社会貢献もしっかりと行いたいという強い気持ちがあり、最近ではこのような研究を行っています。

ここでのモチベーショは、医用画像診断をする際に、医師の負担を軽減することです。
例えば、CTやMRIを用いて1回の診断で生成される画像は300-500枚、時には1000枚を超えることがあり、これらを10-30分程度で分析しなければいけません。
近年、分析すべき画像枚数は増加傾向にあり、取りこぼしの危険性が増加しています。

この危険性をできるだけ軽減するのが目的です。
これは、自動車の「自動ブレーキアシストシステム」が近い概念だと思います。
つまり、万が一の場合にアシストするシステムです。

現在は、医用画像から特徴量を設計する部分を人手で(医師による知識を用いて)行っています。
しかし、医用画像の病変は、症例毎に性質が異なり、これらを症例ごとに設計するのは高コストです。この研究では、画像から直接特徴量を学習できる深層学習を用いることで、これらの問題解決を行っています。

しかし、深層学習では、チューニングすべきパラメータが膨大であるため、この部分にも人手によるコストが発生してしまします。そこで、ベイズ的最適化と呼ばれる分野の技術を用いることでこれらも自動チューニングすることを試みています。

ベイズ的最適化は、1978年と古くから研究されており、一般的に高コストなBlack-box関数y=f(x)の最適化を行う手法の総称で、
関数の形がわからないので、事前分布を導入し、事例(x,y)が与えられる毎に事後分布を更新し、その情報を用いて最適化x*=argmax/argmin f(x)を行います。
深層学習では、ハイパーパラメータとそれによって出力される値(交差検定によって得られる精度など)の関係は、Black-boxであるため、
この技術を用いることで、ハイパーパラメータのチューニングを行うことが出来ます。




2014年7月16日水曜日

第32回助教の会


今回は相島が担当し,Lanczos法について詳しく発表させてもらいました.現代の理工学において大規模固有値問題を数値的に解きたいという需要は多いです.Lanczos法は最も有力な固有値計算アルゴリズムの一つであり,これはKrylov部分空間を用いるRayleigh-Ritzの技法です.本発表ではRayleigh-Ritzの技法について簡単に説明し,Lanczos法にリスタートを導入した場合の収束性解析について自分の研究を中心に話しました.また,他にもRayleigh-Ritzの技法に属する有力なアルゴリズムがありますが,多くの発表時間をLanczos法に費やして時間がなくなってしまったのと,現在進行中の研究内容も含んでいるためここでは割愛させて頂きます.

追記:発表中の質問を参考に,まとめとくとよさそうなことを追記しておきます.
  • Lanczosの発音はランチョスです.ハンガリー人のようです.http://en.wikipedia.org/wiki/Cornelius_Lanczos
  • Rayleigh-Ritzの技法とは,大規模な問題に対して部分空間を生成しその中で残差ベクトルが部分空間と直交するような近似解を求める手法です.非線形方程式に対するGalerkin法と見なせます.これが固有値問題に特化されると,Rayleigh-Ritzの技法と呼ばれます.
  • 線形方程式に対する共役勾配法と固有値問題に対するLanczos法がすごく関係があることは直感的に理解できるのか,については難しいですが,Matrix ComputationのLanczos法の章を参考に少し述べると,両方とも最適化問題を解いていて共役勾配法とLanczos法で目的関数は違いますが,Krylov部分空間を用いると目的関数に対する勾配方向のベクトルが部分空間に含まれることは簡単な計算で分かります.これを計算せずに直感的に理解するには,2次関数とRayleigh商を似てると思えばよいでしょうか.

    数理第三研究室 相島健助

  • 2014年5月20日火曜日

    第31回助教の会



    第31回助教の会では,数理5研の廣瀬が「条件付き正規化最尤分布について」というタイトルで発表しました.未発表の内容を含みますので,スライドは後日あらためて公開したいと思います.

    今回の発表内容は,「条件付き正規化最尤分布 (Conditional Normalized Maximum Likelihood, CNML)」という確率分布がどのような性質をもつかというものです.リグレットと呼ばれる損失関数のミニマックスを達成する確率分布として「正規化最尤分布 (Normalized Maximum Likelihood, NML)」が得られます.CNMLはNMLの一般化です.統計的決定理論の観点からCNMLの性質について報告しました.

    数理情報第5研究室 廣瀬善大

    2014年4月11日金曜日

    第23回助教の会

    2013年度初回となる第23回助教の会では,数理第六研究室特任助教の森野佳生(もりのかい)さんに,「振動が失われたネットワークにおける効率的な大域的振動の回復」というタイトルで発表して頂きました.森野さんは合原研でこの3月に博士を取得され,4月に特任助教として数理六研に着任されました.非線形動力学や疾患の数理モデルを専門として研究されています.

    講演の内容はまだ論文投稿中とのことですので,後日公開させて頂きます.

     ========

    論文が出版されたということですので,2014年4月11日に内容を追加しました.

    今回の講演では,振動が止まってしまったネットワークにおいて,外部から振動可能な素子を加えることによって再びネットワークの振動を引き起こす,という現象の数理モデルが扱われました.このモデルは再生医療を動機としたものになっています.

    再生医療とは,機能を失った臓器に対して,何らかの細胞を移植することによって元々の組織の治癒能力を高め機能を回復する手段のことです.近年では,移植の際の副作用が小さい手法として,シート状に並べられた細胞を元の臓器に貼り付けることによって臓器の機能を回復する手法が研究されています.例えば,心筋細胞から作られているシートでは発火が起こりますが,シートの各部分の発火のタイミングは,時間の経過に伴って同期するということが知られています.今回の講演では,各細胞の振動が Stuart-Landau (SL) oscillator と呼ばれるモデルで表せると仮定し,振動がどのように時間発展していくのかを数理的に解析しています.すなわち,再生医療の視点から見ると,弱った機能が回復する過程をモデリングして解析しています.

    各細胞の振動が SL oscillator で表されるとすると,細胞が active か inactive か(正常かどうか)を一つのパラメータの正負によって区別することができます.今回は,振動子は active なものと inactive なものの2種類のみであると仮定し,各振動子の間で相互に影響を及ぼしあう場合を考えています.これらの仮定の下では,inactive な振動子の割合がある閾値を超えると,全体の振動が止まってしまうことが先行研究により確認されています.

    さて,振動が止まってしまった状態から,図のように active な振動子を加えて振動を回復させることはできるでしょうか?

    本研究の1つ目の成果は,振動を回復するために外部に active な振動子をどれくらい加えれば良いのか,を理論的に解析したことです.振動子の数は大量にありますので,単純な計算では解析することができません.そこで本研究では,「同じ性質を持つグループに属する振動子は同期している」という妥当な仮定を加えたうえで,全体の振動が0かどうかの判定を原点の安定性の判定に置き換える,という工夫をして解析をしています.2つ目の成果は,効率的な振動子の加え方を解析したことです.理論的な解析によって,新たに加える振動子は active なものに優先して付加していけばよいという結果を得ています.最後に3つ目の成果として,2つ目の成果として述べた最適な方法で振動子を加えていったときに,振動の回復が起こる過程を初期状態によって4つに分類しています.

    今回の講演では,再生医療という具体的な動機から,数理的なモデル化とその理論的な解析に至るまで詳細に話して頂きました.「現実的な問題を表現すること」と「理論的に解析しやすい形にすること」とを両立することがモデル化の難しさであり,面白さでもあると感じました.

    2014年4月10日木曜日

    第30回助教の会


    2014年度初回の助教の会では,数理2研の小林が発表しました.開始以来だんだんと長文になってきていたこのブログですが,担当者の負担が大きいこともあり,本年度から本人が書く形式にすることになりました.今後ともよろしくお願いします.
    さて,今回は「円板形領域損傷モデルにおける 最大流最小カット定理と高速アルゴリズム」というタイトルで発表いたしました.ネットワークの信頼性の指標として用いられる「グラフの連結度」は,グラフ理論や最適化の分野で盛んに研究されています.連結度は,「何本の辺(点)を取り除くとグラフが連結でなくなるか?」を表す量であり,辺や点を取り除くことは,ネットワークにおいてリンクやノードが故障することを意味しています.

    今回は,道路網のように平面上に埋め込まれているグラフを考えます.そして,個々のリンクやノードの故障を考える代わりに,自然災害や事故のように,損傷が地理的な広がりを持った領域で起こるモデルを考えています.具体的には,損傷がおこる領域は円板形で表され,損傷がおこるとその領域内のリンクやノードがすべて使えなくなるという設定です.

    このモデルにおいて,いくつの損傷が起こると連結性が壊れるかを求める問題(最小カット問題)と,その双対にあたる問題(最大流問題)を扱ったのが今回の発表の内容です.本研究では,これらの問題に対して,最大最小定理を与え,高速なアルゴリズムを構築しています.

    同じ内容で講演したものがこのページにありますので,興味のある方はご覧下さい.

    数理第二研究室 小林佑輔


    2014年2月4日火曜日

    第29回助教の会

    久々の開催となりました第29回助教の会では,本年度秋に数理4研に着任された松井千尋さんに「確率過程の可解性と代数構造」というタイトルで発表していただきました.松井さんはもともと物理学の出身で,今回の発表はこれまで行ってきた研究を物理に馴染みのない人でも分かるように構成したものとのことです.


    統計物理では粒子同士の相互作用といったミクロな規則から統計的手法を用いて例えば超流動といったマクロな現象を導き出すということがテーマとなっています.例えば磁性体のモデルであるイジングモデルの場合,それまで揃っていたスピンの向きが系の温度を上げるにつれて熱揺らぎの効果が大きくなっていき,ある温度を境にスピンの向きが全く無秩序になるという臨界現象が知られています.このような臨界現象では,モデルの詳細よりむしろ「現象がモデルのスケール(例えば格子の数)に対してどのように依存性をもつか」といったマクロな特徴量が本質的となり,そのような量を導出することが物理現象を分類・解析するうえで重要な問題となります.


    このような解析では近似や漸近的な議論が主に用いられますが,代数的によい構造をもつ「可積分系」とよばれる一部のモデルでは厳密解を求めることができ,そのような可積分系に対して松井さんはこれまで研究を行ってきました.今回話して頂いたのは,非対称単純排他過程(ASEP)をUq(sl2)代数とよばれる構造を用いて解くというものです.ASEPというのは1次元格子上に配置された粒子のモデルで,1個の格子(サイト)には1個(あるいは一般に$l$個)の粒子しか収められないという制約のもとでの粒子の動きを表現するものです.これはもともとRNAの動きのモデルとして提案されたものですが,渋滞のモデルとして聞いたことのある人も多いのではないでしょうか.


    さて,ASEPにおける状態の時間変化は遷移行列を用いて表すことができます.具体的には,2サイト$(i,i+1)$間での粒子あり/なしの組み合わせそれぞれの確率を表すベクトル
    $$
    |P \rangle= |(\mbox{なし・なし}), (\mbox{なし・あり}), (\mbox{あり・なし}), (\mbox{あり・あり})\rangle
    $$
    に対して,その時間変化はある行列$M_{i,j}$をかけたものと表すことができ,それらを全てのサイト$i$について重ね合わせたものが全体としての状態変化となります.


    この系の定常状態を求めるには
    $$
    \frac{\mathrm{d}}{\mathrm{d}t}|P\rangle= M |P\rangle
    $$
    の固有状態を求めればいいということになりますが,これを1サイトに収容可能な粒子数を$l\ge 2$個とした場合に拡張するのは簡単ではありません.

    そこで用いるのが$M_{i,j}$のもつ代数的な性質です.$M_{i,j}$は
    $$
    e_i^2=(q+q^{-1})e_i\\
    e_i e_{i+1}e_i=e_i\\
    e_i e_j=e_j,e_i,\,\mbox{if } |i-j|>1
    $$
    という3つの代数関係を満たす行列$e_i$(Temperley-Lieb (TL)代数生成子)の直交変換で表すことができることが知られていて,このTL生成子を3状態以上に拡張したものをうまく組み合わせることで,一般の$l$における遷移行列$M$を表現することができます.

    $M$をTL生成子で表すことのメリットは,TL生成子$e_i$に対して演算子$X$が可換となる(つまり,$e_i X=X e_i$となる)ような$X$が知られているということで,初期の定常状態$|P\rangle$に対して$X|P\rangle$もまた定常状態となることから次々と定常状態を求めていくことができます.このような性質をもつ$X$が冒頭に出てきたUq(sl2)代数生成子で,松井さんはこのことを用いて「粒子が右に進む確率が左に進む確率より大きい,粒子は計$n$個で境界外への出入りはない」という設定のもとで,「粒子のほとんどは右側$n/l$サイトに集中する,それより$r$サイト左に粒子が存在する確率は指数的に減衰し,その指数はサイトあたりの最大粒子数$l$に比例する」という非常にシンプルな結果を導出しました.

    また発表の最後には,別の初期条件・境界条件に関する議論もありましたが,こちらは公表前の話題ということでここでは割愛させて頂きます.

    私自身も研究で確率過程の挙動を調べることがしばしばありますが,基本的に近似と漸近論で済ます場合がほとんどなので,このように一見複雑な系でも代数構造を利用することで厳密な挙動が求まるというのは大変興味深い結果でした.