今年度より助教の会に入会した林です．5月28日に行われた第14回助教の会では廣瀬善大さんに "Dimension Reduction Based on the Geometry of Dually Flat Spaces" （双対平坦空間の幾何学に基づいた次元削減）というタイトルで発表していただきました．廣瀬さんは昨年度３月に東京大学の数理５研で博士号を取得され，今年度より同研究室で助教に着任されました．
今回のお話は廣瀬さんの博士課程での研究成果をまとめたもので，一言でいうと Least Angle Regression (LARS, 最小角回帰法) の幾何学的な拡張と具体的な確率モデルへの応用について発表されました．発表の前半ではLARSの解説とその拡張について，後半ではグラフィカルガウシアンモデルへの応用が紹介されています．
そもそものモチベーションとして，統計モデルを学習させるときに疎（スパース）な解を得たいというものがあります．例えば，線形回帰の問題では入力Xと出力yの組に対して線形な関係を仮定し，二乗誤差が最小となるような重みパラメータを求めます（最尤推定）．この求められた重みの強さによってどの特徴量がyの予測に役立っているかを知ることができますが，重みが疎，すなわち多くの値が0で埋まっていればyと関係する特徴量を簡単に絞り込むことができます．一般的に線形回帰で求められた解は疎にならないため，L1ノルムによる正則化項を付け加える（LASSO）などなんらかの工夫が必要となります．
LARSは線形回帰の解を疎に求めるアルゴリズムとして2004年に提案されました．
- Efron, Hastie, Johnstone and Tibshirani: Least Angle Regression (with discussion). Annals of Statistics, vol. 32 (2004), pp. 407-499.
- すべての特徴量を使わない状況，すなわちすべての重みを0としてスタート．
- まだ使っていない特徴量のうち，相関が一番大きい特徴量を基底に加える．
- 基底に入っている特徴量と$\bar{y}-\hat{\mu}$との相関を考える．$\hat{\mu}$がその上を動くような直線として，これらの相関が互いに等しいままであるような直線をとる（角の二等分線に相当する直線）．使っていない特徴量のうち，これらの相関と同じだけ大きい相関をもつ特徴量が現れたら，2.に移る．
- 推定値$\hat{\mu}$が$\bar{y}$に到達するまで2.と3.を繰り返す．
 |
| 図１：LARSによって得られるパス（赤線） |
廣瀬さんはLARSのアイデアを情報幾何の世界で解釈しなおし，他の統計モデルにとって自然な拡張を行いました．LARSはパスを求める際，角の二等分線というユークリッド幾何的な性質を用いており，この性質は線形回帰と相性がいいものですが，一般の統計モデルにとってはそうとは限らないからです．LARSは角度という幾何的性質を用いたアルゴリズムですが，廣瀬さんはこの代わりに距離を用いてLARSの拡張を行いました．具体的にはKL擬距離という確率分布にとって自然な距離を導入し，一般化線形モデルやグラフィカルガウシアンモデル(GGM)に応用されました．（この記事では深くは立ち入りませんが，情報幾何とはユークリッド幾何を一般化したもので，ある確率分布がある一点として表現されるような空間を扱う学術体系です．）
発表の後半ではGGMへの応用が紹介されました．GGMは複数の変数が与えられたとき，ある２変数の間に（他の変数が与えられた下での）条件付き独立性があるかないかを調べるときに用いられるモデルです．具体的にはすべての変数は１つの多次元ガウス分布から生成されたと仮定し，推定された精度行列（共分散行列の逆行列）が0であれば対応する変数間には条件付き独立性がないと考えます．変数の数が増えるにしたがってその組み合わせの数も増加するため，ここでもやはり疎な解が歓迎されます．
 |
| 図２：提案手法の実験結果 |
今回の廣瀬さんのお話は，線形回帰モデルにのみ用いられてきたLARSアルゴリズムを一般の統計モデルに対しても使えるよう拡張されたという点で，非常に意義深いと感じました．自分も含め，最近は確率モデルや統計モデルを用いた研究はとても一般的になってきたため，ユーザの立場からもこのような一般化はありがたいのではないでしょうか．ただ，提案手法の計算量はそこそこかかってしまう（GGMの場合，変数の数の二乗のオーダ）と伺ったので，今後は計算の効率化にぜひ期待させていただきたいと思いました．
数理第6研究室 林浩平
0 件のコメント:
コメントを投稿