第1回助教会

記念すべき数理助教会のトップバッターは第5研究室の鈴木大慈さんです。今日の発表のタイトルは "Theory for Information Integration in Statistical Learning" で日本語で言うと「統計的学習における情報統合の理論」というところでしょうか。

発表の内容は盛りだくさんの3本立てで、

1. ベイズ推定の事前分布をどう決めるかという話
2. 相互情報量を用いた特徴選択法の話
3. 複数のカーネルを用いたカーネル法の性能解析の話

とどれも1回分くらいの広がりのありそうな話です。情報統合というのは色々な意味で使われる言葉だと思いますが、今日の発表の中では (a) 複数の学習機械をベイズ推定の枠組みの中で組み合わせること、(b) 複数の情報源があるときにうまく有用な情報を組み合わせ、不要な情報を捨てることという2種類の意味で使われていたように思います。1は(a)の話で2と3は(b)の話です。

1. の話の背景にはベイズ推定というものがあります。ベイズ推定では事前分布をどう選ぶかが問題となるのですが、事前分布というのは答えがどこにありそうか、あらかじめあたりを付けておくようなものなので答えが分からないときは一様にしておくのが良さそうです。この一様な分布をここではJefferys事前分布と言いますが、この話の味わいどころは対象とするモデル（というのは何らかのパラメータをもつ確率分布の集合）の幾何学的な形状によってはJefferys事前分布を性能で常に上回る事前分布が作れるというところです。このような事前分布が作れるかどうかはモデルの上のラプラシアンで決まるランダムウォークが再帰性を持たないことが必要十分条件です。鈴木さんはすでに得られていた結果[1]を一般のα-ダイバージェンスを評価基準とした場合のβ-事後分布に拡張しました[2]。この時α≠βの場合にランダムウォークにラプラシアンによる拡散項だけでなく、一種のドリフト項が現れるのだそうです。


スライド前半:

Jokyokai

View more presentations from trinmu

スライド後半:
jokyokai2



参考文献
[1] "Shrinkage Priors for Bayesian Prediction." F. Komaki. The Annals of Statistics, 34(2), 808-819, 2006.
[2] "On prior selection and covariate shift of β-Bayesian prediction under α-divergence risk." T Suzuki and F. Komaki. Communications in Statistics --- Theory and Methods, 2010.