第14回助教の会

今年度より助教の会に入会した林です．5月28日に行われた第14回助教の会では廣瀬善大さんに "Dimension Reduction Based on the Geometry of Dually Flat Spaces" （双対平坦空間の幾何学に基づいた次元削減）というタイトルで発表していただきました．

廣瀬さんは昨年度３月に東京大学の数理５研で博士号を取得され，今年度より同研究室で助教に着任されました．

今回のお話は廣瀬さんの博士課程での研究成果をまとめたもので，一言でいうと Least Angle Regression (LARS, 最小角回帰法) の幾何学的な拡張と具体的な確率モデルへの応用について発表されました．発表の前半ではLARSの解説とその拡張について，後半ではグラフィカルガウシアンモデルへの応用が紹介されています．

そもそものモチベーションとして，統計モデルを学習させるときに疎（スパース）な解を得たいというものがあります．例えば，線形回帰の問題では入力Xと出力yの組に対して線形な関係を仮定し，二乗誤差が最小となるような重みパラメータを求めます（最尤推定）．この求められた重みの強さによってどの特徴量がyの予測に役立っているかを知ることができますが，重みが疎，すなわち多くの値が0で埋まっていればyと関係する特徴量を簡単に絞り込むことができます．一般的に線形回帰で求められた解は疎にならないため，L1ノルムによる正則化項を付け加える（LASSO）などなんらかの工夫が必要となります．

LARSは線形回帰の解を疎に求めるアルゴリズムとして2004年に提案されました．

• Efron, Hastie, Johnstone and Tibshirani: Least Angle Regression (with discussion). Annals of Statistics, vol. 32 (2004), pp. 407-499.

LARSによるパラメータ推定の手順は一種の繰り返しアルゴリズムになっています．通常の最尤推定値を$\bar{y}$としたとき，LARSは予測に使う特徴量を一つづつモデルに加えていき，原点から$\bar{y}$にいたるまでのパスを計算します．具体的なアルゴリズムは以下になります．またアルゴリズムの具体例を図１に示します．

1. すべての特徴量を使わない状況，すなわちすべての重みを0としてスタート．
2. まだ使っていない特徴量のうち，相関が一番大きい特徴量を基底に加える．
3. 基底に入っている特徴量と$\bar{y}-\hat{\mu}$との相関を考える．$\hat{\mu}$がその上を動くような直線として，これらの相関が互いに等しいままであるような直線をとる（角の二等分線に相当する直線）．使っていない特徴量のうち，これらの相関と同じだけ大きい相関をもつ特徴量が現れたら，2.に移る．
4. 推定値$\hat{\mu}$が$\bar{y}$に到達するまで2.と3.を繰り返す．

このアルゴリズムをk回目で止めるとk個の非ゼロな重みをもつパラメータを得ることができるため，ユーザは任意の疎な解を得ることができます．

図１：LARSによって得られるパス（赤線）

廣瀬さんはLARSのアイデアを情報幾何の世界で解釈しなおし，他の統計モデルにとって自然な拡張を行いました．LARSはパスを求める際，角の二等分線というユークリッド幾何的な性質を用いており，この性質は線形回帰と相性がいいものですが，一般の統計モデルにとってはそうとは限らないからです．LARSは角度という幾何的性質を用いたアルゴリズムですが，廣瀬さんはこの代わりに距離を用いてLARSの拡張を行いました．具体的にはKL擬距離という確率分布にとって自然な距離を導入し，一般化線形モデルやグラフィカルガウシアンモデル(GGM)に応用されました．（この記事では深くは立ち入りませんが，情報幾何とはユークリッド幾何を一般化したもので，ある確率分布がある一点として表現されるような空間を扱う学術体系です．）

発表の後半ではGGMへの応用が紹介されました．GGMは複数の変数が与えられたとき，ある２変数の間に（他の変数が与えられた下での）条件付き独立性があるかないかを調べるときに用いられるモデルです．具体的にはすべての変数は１つの多次元ガウス分布から生成されたと仮定し，推定された精度行列（共分散行列の逆行列）が0であれば対応する変数間には条件付き独立性がないと考えます．変数の数が増えるにしたがってその組み合わせの数も増加するため，ここでもやはり疎な解が歓迎されます．

図２：提案手法の実験結果

実データを用いた実験もいくつか紹介されました．その１つは学生８８人の数学５科目の成績から科目間の条件付き独立性を調べたもので，図２は実際に提案手法によって得られた結果を示しています．２科目間の条件付き独立性の有無がグラフ上の辺によって表現されており，たとえば代数と解析の従属性が強いとされるなど興味深い結果となっています．シミュレーションでは提案手法が既存手法よりも優れた予測精度を達成したことが示されています．

今回の廣瀬さんのお話は，線形回帰モデルにのみ用いられてきたLARSアルゴリズムを一般の統計モデルに対しても使えるよう拡張されたという点で，非常に意義深いと感じました．自分も含め，最近は確率モデルや統計モデルを用いた研究はとても一般的になってきたため，ユーザの立場からもこのような一般化はありがたいのではないでしょうか．ただ，提案手法の計算量はそこそこかかってしまう（GGMの場合，変数の数の二乗のオーダ）と伺ったので，今後は計算の効率化にぜひ期待させていただきたいと思いました．

jokyo20120528

View more presentations from YoshihiroHIROSE

数理第6研究室　林浩平

第13回助教の会

新年度第1回の助教の会は数理6研の林浩平さんに「Generalization of Tensor Factorization and Applications」というタイトルで話して頂きました。林さんは3月に奈良先端科学技術大学院大学情報科学研究科で博士号を取得し、4月から日本学術振興会特別研究員として数理6研に所属しています。

林さんは博士課程の間からデータマイニングにおけるテンソル分解 (Tensor Decomposition) と呼ばれる手法を研究しています。今回は二つの話題を紹介していただきました。前半はノイズにガウス分布を仮定しない多種多様な要素を持つテンソルに対するテンソル分解、後半はテンソルに低ランク性を仮定しないテンソル分解です。

前半のお話は、一昨年の国際会議ICDM2010で発表[1]された、多種多様な（ヘテロな）要素を持つテンソルに対するテンソル分解です。

図1: ユーザ × 商品  × 時間の3階テンソルとして表現された購買データ

そもそもテンソルというのはテーブル形式のデータを多次元に拡張したもので、例えば、複数のユーザがいくつかの種類の商品をある時刻に購入したという購買データを考えるとユーザ × 商品  × 時間の3階テンソルとして表現することができます（図１）。あるいは、商品の代わりにユーザを複数種類のセンサーが取り巻いているユビキタスコンピューティング的状況を考えると、センサーデータはやはりユーザ  × センサー  × 時間の3階テンソルとして表現されます。テンソル分解はこのようなデータを低次元の因子行列の積で近似（低ランク近似）することでデータを見やすくしたり、見えていない要素を予測したりするための方法です。

ここでなぜ、データのヘテロ性が問題になるかと言うと、例えば購買データであれば数量、センサーデータではセンサーの種類によって、電子メールの件数などの非負整数値を取るセンサー、位置情報などの実数値を取るセンサーなどがあるからです。このように要素によって異なる種類の値を取るテンソルを近似するための基準はどのように選んだらよいのでしょうか。

図2: 指数型分布の例（ガウス分布、ポアソン分布、ベルヌーイ分布）

この問題に対して、林さんは指数型分布族（図2）に基づく確率モデルを用いて確率モデルの対数尤度を近似の基準として用いることを提案しています。林さんの方法では指数型分布族と対数尤度を用いることで異なる種類の要素を自然に扱うことができます。例えば実数を取る要素であればガウス分布、非負整数値を取る要素であれば分布を使うことができます。指数型分布族は非常に広いクラスの確率分布をカバーする確率分布のファミリーで、図2に示すように関数Ψの選び方で様々な分布を表現することができます。林さんの研究ではD個の観測値の要素ごとに互いに異なる関数Ψを用いて、対数尤度に正則化項を加えたもの
\[ \mathcal{L} =\sum_{d=1}^{D}\left(x_d\mathbf{w}_d^\top\mathbf{z}-\psi_{h_d}(\mathbf{w}_d^\top\mathbf{z})\right)-\frac{1}{2}\|\mathbf{z}\|^2-\sum_{m=1}^{M}\frac{\alpha_m}{2}\left\|\mathbf{U}^{(m)}\right\|_{\rm Fro}^2 +{\rm const.}\]
ただし、
\[
\mathbf{w}_d = \mathbf{u}_{i_1^{(d)}}^{(1)} \circ \mathbf{u}_{i_2^{(d)}}^{(2)} \circ \cdots \circ \mathbf{u}_{i_m^{(d)}}^{(m)}
\]
を近似の基準として用いています。対数尤度を用いることで、要素ごとに異なる近似の基準の比較が可能になり、自然に組み合わせることができます。

林さんはこの手法を上述のセンサーデータからの異常検知に応用して、複数人からなるグループの行動パターンの異常を検出することに成功したということです。

指数型分布族という抽象的な世界と、多種多様なセンサーデータからの高精度の異常検知という具体課題が密に繋がっているところが非常に面白いと感じました。

後半のお話は、カーネル法を用いたフルランクテンソルの穴埋め手法についてです。既存の行列分解やテンソル分解の手法は背後にあるデータの構造に何らかの“単純さ”（低ランク性）を仮定します。低ランクであるということは実質的に推定すべきパラメータは小さいということで、それによって少ないサンプルからでも構造を推定することができていました。しかし、実問題においては低ランク性の仮定は必ずしも成り立っているとは限りません。そこで林さんはカーネル法を使った、フルランク行列（およびテンソル）に対しても適応できる穴埋め方法を提案しました。

林さんのアイディアは、列間の類似度および行間の類似度を非線形な尺度（カーネル関数と呼びます）で算出し、それらを組み合わせることによって(i,j)番目の要素と(k,l)番目の要素の類似度を表現します。こうすることによって、機械学習でスタンダードなカーネル法と呼ばれる枠組みに沿って欠損データの類推が可能になります。行列・テンソル穴埋め問題においては要素数が多く、カーネル法を適用するには計算量が多くなってしまう傾向がありますが、今回のお話ではクロネッカー積の性質を用いることによって少ない計算量で済むとのことです。

この手法はさらに、与えられた行列（やテンソル）の要素だけでなく行や列に付随した付加情報も用いることができます。行列穴埋めは、例えば「誰（人）」が「何（アイテム）」を買ったというように人とアイテムの関係で構成される二次元配列を対象とします。この際、誰が何を買ったという事実だけでなく、その人がどのような人で買ったアイテムがどのような商品なのかという付加情報も使った方が、「ではその人が他に何を買いたがっているのか」ということを予測しやすくなります。 林さんの手法では、カーネル法の枠組みを用いることで、そのような付加情報を自然に盛り込むことができるそうです。

林さんの手法はmovielensという映画推薦システムの問題に適用され、mlcomp.orgという機械学習手法の性能を競いあうウェブページで現在も一位の性能を示しているそうです。（self-reflective-multi-task-GP-* というアルゴリズム)

テンソルという数理的な道具から出発し、実問題で高い性能を示す方法論へつながっている点が大変面白いと感じました。

数理6研助教 冨岡亮太 ＆ 数理5研助教 鈴木大慈

Generalization of Tensor Factorization and Applications

View more presentations from Kohei Hayashi

[1] Kohei Hayashi, Takashi Takenouchi, Tomohiro Shibata, Yuki Kamiya, Daishi Kato, Kazuo Kunieda, Keiji Yamada, and Kazushi Ikeda. Exponential family tensor factorization for missing-values prediction and anomaly detection. In the IEEE International Conference on Data Mining (ICDM'10), December 2010.

第１２回助教の会

第１２回数理助教の会では数理第４研究室ポスドクの坂下達哉さんに「量子i.i.d.状態の仮説検定問題における数値的手法の実装および計算精度に関する研究」というタイトルでおはなししていただきました。
坂下さんは昨年９月に電通大で学位を取得され、現在、さきがけ数学領域「統計モデル多様体の普遍的な性質のベイズ予測理論への応用」の研究員としても精力的に研究を進めています。



坂下さんは、ここ数十年で急速な発展を遂げた量子情報科学の分野で、特に、量子仮説検定の問題に対して、数値的な取り扱いを研究しています。 実験的に準備された量子状態が、２つの異なる量子状態のどちらであるかを、統計的仮説検定の問題として判定する方法を考えています。通常の仮説検定論が情報理論の主要な結果に応用されているように、量子仮説検定論は量子情報理論への応用を念頭においたものになっています。 坂下さんが取り組んでいる量子Hoeffdingの定理の問題設定は数学的に精密な定式化で煩雑なため、ここでは、Hoeffdingの定理のイメージを簡単に説明しておきます。

たとえば、1/2の確率で表が出るコインAと2/3の確率で表が出る偽コインBがあり、コインをn回ふって判断することにします。 コインを１０回ふって６回表が出たときだと、AなのかBなのか判断に迷います。 しかし、コインをふる回数を１００回、１０００回と増やしていくと、表の出る確率は1/2 もしくは2/3に近づいていき判断しやすくなります。 いいかえるとコインがAの時とBの時とで、それぞれ間違った判断をする確率（誤り確率）が十分小さくなります。 コインをふる回数nに対して誤り確率は指数的に減少していくことが知られており、その速さを指数誤り率と呼びます。さて、コインAをコインBに間違えてしまう確率とコインBをコインAに間違えてしまう確率の間にはトレードオフの関係があります。2つの指数誤り率のトレードオフはHoeffdingの定理によって簡単な形で表現できます。このような仮説検定の漸近理論の量子版が、坂下さんが注目している量子Hoeffdingの定理で、２００６年に証明されたばかりです。

量子では試行回数ではなくテンソル積の次数nの極限を考え、指数誤り率は定理から簡明な形で書けますが、有限の場合には簡単にはかけません。 そこで、nが有限の場合の指数誤り率の振る舞いについて、数値的に詳しく調べたのが坂下さんの主要結果の一つです。


数値的に計算というと簡単そうに聞こえますが、この点について様々な工夫を行っています。本研究では、量子i.i.d.状態を表すテンソル積行列（指数サイズ）を多項式サイズの複数の行列に分解する「テンソル積の既約分解」という手法を用います。このような複数の行列に対して固有値計算が必要になるのですが、この計算で非常に大きな数値誤差が生じます。これは、このような行列では０の近くに固有値が密集しているためです。 この傾向は、nが大きくなるほど顕著になります。 実際、比較的小さなnでも、多倍長演算を用いて１００桁（10進法）程度で計算を行って、初めて有効な数値結果が得られています。計算機的にも非常にハードな計算ですので、 固有値ルーチンの改良、プロセス単位の並列化、そして、東大のスパコン（！）を用いてようやく可能になったそうです。数値計算の応用分野において、これほど大きな桁数を用いた固有値分解が必要な例は他になく、計算負荷を均等にする並列化法にも特色があり、数値解析や計算機実装の研究者にとっても面白いテーマを与えると思いました。



時間の関係で後半の一部は省略されましたが、最後に、新しい漸近理論に関する予想と数値的な検証について説明してもらいました。 既に示されている量子Hoeffdingの定理を用いて、数値計算が信頼できることを確認した後だからこそ検証に役に立つそうです。 数値的に試してうまくいくことを確認して、厳密な証明を与えるというのは、統計理論でもよくあるアプローチですが、 そこに量子論特有の難しさ（非可換な行列の扱いやテンソル積）が入っており、分野間融合の新しい可能性に溢れる話題だと思いました。

Sakashita

View more presentations from texja1234

数理第４研究室 助教 ＆さきがけ数学領域研究者（兼任）田中冬彦

第１１回助教の会

　第１１回の数理助教の会では数理第６研究室の冨岡亮太さんに「行列およびテンソルデータに対する機械学習」というタイトルでおはなししていただきました。冨岡さんは機械学習の分野において第一線で活躍されている研究者です。また冨岡さんは、この数理助教の会の「いいだしっぺ」であり、この集まりを通じて多岐にわたる領域をカバーする数理工学分野の若手研究者の横のつながりを活発にするためにご尽力されております。

　行列は行と列の２軸上のデータとして見ることができます。さらに軸を増やしたデータはテンソルとよばれます。行列の低ランク分解についてはリコメンデーションに利用される協調フィルタリングなどの重要な応用がよく知られています。その一方で、テンソルに関しては機械学習においてまだ新しい研究対象であり、また最近冨岡さんが活発に取り組んでいる研究テーマだそうです。今回のトークでは、行列に対する判別モデルにおける低ランク分解の応用研究と、テンソルに対する生成モデルにおける基礎理論の研究を紹介していただきました。

　前半のトピックは、ブレイン・ コンピュータ・インタフェース（BCI）における行列の低ランク分解の応用のおはなしです。まず今回扱っている視覚と脳波を用いた文字入力のBCIであるP300 speller システム（Farwell & Donchin, 1988）について解説します。被験者はタテ・ヨコに６つずつ並んだ、計３６個の文字（アルファベット２６文字、１～９までの数字とアンダーバー）のうちの１つを一定時間じっと見続け、その間、ある１行またはある１列にある６文字が同時に光るというパターンがランダムに切り替わります。行と列はそれぞれ６つあるので、光り方のパターンは１２通りとなります。被験者が見ている文字の位置を複数の電極から得られる脳波データを用いて推定することが本システムの目的です。

　冨岡さんらの提案した判別手法では、ある１つの行または列の６文字が光っている短時間の脳波の行列データXについて、被験者が見ている文字が光っているか光っていないかを評価する判別器 f (X) = <X, W> + b を考えます。ここで、W と b を次の条件を満たすように決定します。

　（１）訓練サンプルに対する当てはまりが良い。

　（２）f を決める行列 W が低ランク分解される。

条件（１）に関連して損失項を、条件（２）に関連して正則化項を適切に設定することで、最小化問題を解くことで判別器が決定されます。

　冨岡さんらの提案手法のポイントは、正則化項でSchatten 1-ノルム（行列の特異値の線形和）を用いていることです。これによって考えるべき最小化問題が凸となり、高速に判別器を設計することができます。さらに、行ごと、列ごとのデータを別々に考慮することで、「もっともらしい」時空間フィルタを得ることに成功したそうです。

　後半のトピックはテンソルの低ランク分解です。テンソルは数学的に非自明な点が多く、サイズの小さいテンソルでも扱いが難しい面もあるそうです。テンソルのランクはCANDECOMP / PARAFAC 分解（CP分解）の意味でのランクとTucker分解によるランクなどがあります。

　冨岡さんの研究ではTucker分解を扱っており、またテンソルに対して低ランク化を促す正則化項として、いくつかの行列のSchatten 1-ノルムで表される、overlapped Schatten 1-ノルムを採用しています。このノルムを用いることで、低ランクテンソルの推定が凸最適化により可能となります。例えば、テンソル補完問題はテンソルの一部の値が見えている状況でランクの最小のテンソルを求める問題ですが、テンソル補完に対しoverlapped Schatten 1-ノルムを用いた緩和問題は凸最適化手法で解けるそうです。冨岡さんはテンソル分解に関する理論的な解析を与え、さらに解析結果と実験結果が「そこそこ」一致していることが確認されたとのことです。

　私自身は最適化理論の研究をしているのですが、冨岡さんの研究において最適化問題の扱いやすさがポイントとなっている点が興味深いです。連続最適化の分野と機械学習の分野の積極的な交流（このような交流は国際的にはある程度は進んではいるのですが）によって日本のグループでも面白い研究ができるであろうと感じました。冨岡さんによれば「テンソル業界はまだまだ人手不足」だそうですので、新しい領域に乗り込む意欲のある方は挑戦してみてはいかがでしょうか？

生産技術研究所 最先端数理モデル連携研究センター 永野清仁

行列およびテンソルデータに対する機械学習（数理助教の会 2011/11/28）

View more presentations from ryotat

第１０回助教の会

　第１０回助教の会は、生産技術研究所　最先端数理モデル連携研究センター　特任助教の永野清仁さんにお話してもらいました。永野さんは、数理第２研究室のご出身で、２００８年３月に博士号を取得され、離散アルゴリズムの研究に従事しておられます。最近は、機械学習と関連した離散最適化問題などを扱っているそうです。

　今回は、永野さんの研究テーマである、「劣モジュラ制約下の凸最適化」について、理論および応用の両側面での研究についてそれぞれ話していただきました。

　劣モジュラ関数とは、集合を引数に取る関数fで、「大きな集合に要素を加えるよりも、小さな集合に要素を加えたほうが影響が大きい」という性質を（数式では、∀S, T⊆V, f(S)+f(T)≧f(S∪T)+f(S∩T)と表される）持つもので、この劣モジュラ関数の理論は、グラフ、ネットワーク、ゲーム理論、オークション理論、機械学習など、様々な場面で使われているそうです。

　劣モジュラ関数fの例として、集合に対する２つのコスト関数の例を説明していただきました。一つは、「ホットドックの代金」、例えば「Aさんが2個、Bさんが4個、Cさんが8個のホットドックを食べるときに、必要なお金」であり、これは、それぞれの代金の和となります。（f(AさんとBさん)=f(Aさん)+f(Bさん）、など。）もう一つは、「コピーフリーのCDの代金」、例えば、「Aさんが2枚、Bさんが4枚、Cさんが8枚のCDを手に入れる時に、必要なお金」であり、これは、どの場合でも、CD1枚分の値段のままになります。（f(AさんとBさん)=f(Aさん)=f(Bさん)=定数。）いずれのfも劣モジュラ関数ですが、さらに、この両極端の場合の中間にも、様々なコスト関数を定義することができます。

　このようなfが決まると、それに対して「基多面体」B(f)と呼ばれるものが定義でき、この基多面体の上で、「もっとも良い点」（良さは、B(f)上の各点に対する関数g(x)で決まる）を見つけるのがすなわち「劣モジュラ制約下の凸最適化」ということです。

　g(x)には様々なものがあり、例えばLexicographically optimal bases (Fujishige,80)という有名な問題（これは、「なるべく中心に近い点を見つける」という問題で、様々なタスクが、この形式で表現できるそうです。）があるのですが、永野さんらは、α-カーブというアイデアに基づいて、このLexicographically optimal basesの問題が、Submodluar Utility Allocation (SUA)という、一見別の問題設定と、最適解が一致するということを発見したそうです。

　発表の後半では、この理論を、実際にネットワークの分析に応用した例を紹介していただきました。応用するのは、「最密部分グラフ問題」すなわち、「与えられたノード数の部分グラフの中で、最もエッジ重みの合計が大きいもの」を見つける問題です。この「与えられたノード数」というのが厄介で、これがなければ簡単に（多項式時間で）解けるのに、この制約があるととたんに難しく（NP-hardに）なるそうです。永野さんらは、制約なしの場合に使われる「Fujishige-Wolfe法」を拡張することで、「さまざまなノード数について、もしも最適解が見つかれば、それを出力する」というアルゴリズムを設計しました。Fujishige-Wolfe法では活用しきれていなかった情報をより「しゃぶりつくす」ことで、Fujishige-Wolfe法では出せていなかった答を出力させることができるそうです。必ず最適解が見つかるわけではありませんが、もし見つかれば高速に答えを見つけることができます。

　このFujishige-Wolfe法は、まさに前半のお話にあった、「基多面体上での最適化」に基づくアルゴリズムであり、通常の多項式時間アルゴリズムでは現実的には解けないような大きな問題まで解くことができるそうです。「最適解がもしも見つかれば、それを出力する」というアルゴリズムはなかなか変わっていて、面白いと思いました。

　劣モジュラの理論は、頭の普段使わない部分を使う感じで難しかったのですが、永野さんの力強い発表のおかげで、なんとなくやりたいことの気持ちがわかってきたような気がします。構造の複雑そうなグラフの問題が、きれいな理論で表現できる様子が魅力的でした。

情報基盤センター　助教　吉田稔

Nagano jokyoukai

View more presentations from kiyohito_nagano.

第9回助教の会

こんにちわ、先月の頭に風邪をひいたのに、今月の頭も風邪を引いたので、来月の頭が心配な東大情報基盤センターの佐藤です。

第9回助教の会では、東京大学　情報基盤センターの吉田稔さんに「接尾辞配列とディリクレ過程混合モデルを用いたテキスト中の数値表現マイニング」というタイトルで話していただきました。吉田さんは、東京大学の元辻井研で博士号を取得しており、主にテキストマイニングの研究をしています。

今回の発表では、「テキストマイニング」についての説明から始まり、東京大学中川研で公開しているテキストマイニングツールの説明とご自身が取り組んでいる数値情報と言語情報を解析する研究について、説明をしていただきました。

吉田さんの説明によると

「テキストマイニングとは、テキストデータを統計的に処理し、自明でない知見を発見する技術」のことを言います。

発表中には、「自然言語処理」と「テキストマイニング」の関係についての議論が為されました。吉田さんの認識では、自然言語処理を基礎技術として応用したのがテキストマイニングである一方で、テキストマイニングで得られた知見を自然言語処理へと活かすという相補的な関係にあるようです。

吉田さんの現在の研究テーマは、「テキスト中に含まれる数値表現をデータベースとして扱う研究」です。

テキスト中に含まれる数値表現を陽にデータベース化することなく、テキストのままデータベースとして扱うことで、言語と数値の関係を抽出する研究を行っています。

言語と数値の関係では、

例えば、年齢ごとに「人」に関する呼び名が変わる現象が挙げられます。

[12〜19]歳という数値表現で表された「男性/女性」は「少年/少女」という単語に関係しており、

[65〜歳]という数値表現で表された人間は、「高齢者」という単語に関係しています。

このような関係をテキストデータから自動で抽出することができるシステムの開発をしているそうです。

また、「75歳男性が脳梗塞で死亡」などのテキストデータが大量にある場合に

「男性」,「脳梗塞」という単語から、[60-75]歳という統計処理された数値表現データを抽出することも可能になります。

実際にシステムで使われている技術は、suffix arrayを数値データを扱いやすいように改良したデータ構造や、数値表現から抽出した数値データを統計処理するためにディリクレ過程混合モデルを検索時にリアルタイムに用いるなど、データ構造と機械学習技術の実践的な融合がなされていると感じました。

第8回助教の会

第8回助教の会では生産技術研究所の田中剛平さんに「ネットワークの動的ロバスト性」というタイトルで話して頂きました。田中さんは今年7月に「複雑系動力学とその応用」というテーマを掲げて助教から特任准教授に昇進されたばかりです。

複雑系動力学を研究をする目的は、対象となる動的システムの定性的な挙動の変化（分岐現象や相転移）を調べたり、それらの性質を工学的に応用したりすることです。

その中でも、田中さんがとくに注目しているのはネットワークのロバスト性です。ネットワークは神経回路や細胞内シグナル伝達のネットワークなど自然界に普遍的に存在するだけでなく、電力ネットワーク、情報ネットワークなどがあり、私達の生活にも深く関わっています。これらのシステムはネットワークを通してつながっているため、システムの一部に障害が発生したとき、例えば今年3月にあったみずほ銀行のATM障害のように、その影響が広範囲に拡大してしまう可能性があります。そのため、一部に障害が発生した際の影響に対してネットワーク全体がどの程度ロバスト（頑健）であるか解析することは重要なのですが、これはネットワークが複雑であればあるほど容易ではありません。

田中さんによると、ネットワークのロバスト性には構造的なロバスト性と動的なロバスト性があると考えることができます。構造的なロバスト性は2000年ごろから Barabasiら[1]によって研究されてきました。例えばネットワークの一部の構成要素を取り除いたときに、ネットワーク全体の繋がりがどの程度保たれるか、さらに、それがネットワークの種類によってどのように変化するか、といったことが調べられています。一方で、動的ロバスト性はネットワークの繋がり具合ではなく、機能がどの程度保たれるかを問題にする比較的新しい考え方です。ネットワークが繋がりを保っていても、果たすべき機能を果たさなければ困るからです。

・・・とだんだん本題に迫ってきたのですが、ここから先は未発表の内容なので残念ながらブログに書くことはできません。情報が出せる段階になりましたら、更新させていただきます。

2012/2/3 追記：
上記のネットワークの動的なロバスト性に関する論文が Scientific Reports に採録されたそうです：

Gouhei Tanaka, Kai Morino & Kazuyuki Aihara (2012) Dynamical robustness in complex networks: the crucial role of low-degree nodes. Scientific Reports, vol. 2.

おめでとうございます！


[1] Réka Albert, Hawoong Jeong & Albert-László Barabási (2000) "Error and attack tolerance of complex networks." Nature 406, 378-382.

数理第6研究室　冨岡亮太