第４回助教の会

第４回目となる今回の数理助教の会は，数理第４研究室の田中冬彦さんで，「ベイズ予測とその応用」について発表していただきました．田中さんはJSTさきがけ「数学と諸分野の協働によるブレークスルーの探索」の研究員を兼任されており，統計の理論を理論物理学の研究と結びつけていくことも行なっています．

田中さんの主な研究テーマは「予測する」ということです．「予測」とは，n個のデータが観測されたときに，n+1個目のデータの値の分布を推定することです．推定された分布を「予測分布」と呼びます. 予測分布を用いると, 例えば, コンビニが新規オープンして１週間経過したあと, ７日間の売上データから翌日の売上がどのくらいになるか推測できます. 「明日の売上の期待値は１００万円」だけでなく「売上が３０万円以下になる確率は１０％」といった情報も予測分布から得られます.

予測分布を求めるには，実際にはn個のデータがパラメータθによって定まる, ある確率分布から発生しているという確率モデルを立てて行います. さらに未知パラメータθも事前分布に従っていると仮定することで, ベイズの定理を用いて最適な予測分布（ベイズ予測分布）が構成できます. 先のコンビニの例であれば, 同じ地区の別のコンビニでの売上実績でパラメータの事前分布を求めておき, 実際の売上データと合わせることで, 明日の売上をうまく推測できるそうです. ただし, 新しい地区に初めてコンビニをオープンする場合には事前分布を構成できません.

このような場合に, どのような方法で事前分布を決めるかが理論的にも重要で難しい問題だそうです.一般にはJeffreys事前分布を使うのが汎用的なのですが，優調和事前分布が存在すれば，それを用いることで，Jeffreys事前分布よりもよい予測が可能であることが知られています．ここで問題となってくるのは，そのような優調和事前分布が存在するか，そして，存在するならば具体的に構成できるか，です．

田中さんの発表では，
・時系列分析など相関を持つデータに対するベイズ予測手法
・量子情報で扱うミクロの系への応用
という２つの話題に関して，ベイズ予測と事前分布を軸に話をしてもらいました．

一つ目の話は時系列データの解析です．株価・財務情報や気温などの時系列データは, 実際には互いに独立な確率分布から発生しているわけではありません. 上で述べたこれまでの結果では, データに独立性を仮定して予測を行なっていましたが, 田中さんの研究ではそれを相関をもつ場合に拡張しています.

要点は元の時系列データをスペクトルの世界に変換することです. 田中さんは，スペクトル解析の手法を用いて，時系列解析でよく用いられるAR過程において，必ず優調和事前分布が存在し，かつそれを陽に構成できることを証明しています．他の多くの研究では実問題に合わせて事前分布を発見的に決めているのに対し，田中さんの手法では事前分布の情報がない場合でも，理論的に精度が保証されて
いる事前分布を作ることができます．

二つ目の話は量子情報についてです．量子力学で記述されるようなミクロの系では，電子線の干渉やトンネル現象など，マクロではありえないような不思議な現象が起こります．たとえば，粒子の位置と運動量を観測したときに，それらの測定誤差はマクロの系のように同時確率分布に従いません．今回の発表では，粒子を密度行列や波動関数に対応させてそれらを予測する手法を簡単に紹介してもらいました．これらの予測は，通常のマクロの系のようにこれまでのデータの確率を混ぜ合わせるだけでは不十分で，二乗誤差を最小にして陽に計算する必要があります．時間の都合上簡単な紹介のみで終わってしまいましたが，物理の知識を全て忘れてしまった自分にとってはかなり難しそうでした．．．

このように田中さんの研究では，統計の理論的な枠組みを時系列解析や量子系に応用するために，概念からきちんと整備する所まで含めて取り組んでいます．最近ではQ-statsというグループを作るなど，統計理論と理論物理の研究者の交流が盛んになってきているそうで，これからの盛り上がりがかなり期待される研究分野でした．

Seminar 110705 v2

View more presentations from tanafuyu.

第３回助教の会

第３回目は数理第二研究室の垣村尚徳さんに「数理計画法における符号可解性（Sign-Solvability in Mathematical Programming）」という題で話していただきました．

発表では，まず，行列の定性的解析のを紹介をしていただきました．それから，それを発展させた組合せ的手法を用いた数理計画問題の定性的解析を紹介いただきました．

行列の定性的解析とは，要素に誤差を含み得る行列の，その誤差に依存しないで決まる性質を解析することです．このような定性的な解析では，行列要素の数値情報は使用できないため，符号情報（行列要素の正負）等の構造的な情報を元に組合せ的手法（グラフ理論等）を用いて解析結果を得ます．このような定性的な解析は1947年に経済学の分野から始まったそうです．
例えば，一般に経済学で価格pは需要D(p)と供給S(p)が釣り合う点D(p)=S(p)で決定される（下図左）と考えられますが，需要がもう一つの変数，嗜好tの増加関数である場合，嗜好tが増減した時に価格pがどのように変化するか，という問題を考えます(下図中央)．この時，嗜好tの変化に対する価格pの変化率は下図右のような連立方程式の解として得られますが，その符号は、D(p)やS(p)の具体的な関数形によらずD(p;t)がpに関して減少関数，tに関して増加関数であること，S(p)が増加関数であることから必ず正である（嗜好tが増えれば価格は上昇する）ということがわかります．この一次連立方程式の解の符号をその係数行列の符号のみから判定するという解析は，符号正則性という性質で特徴付けられ，有効グラフの偶閉路の解析や二部グラフの Pfaffian orientations の解析といった組合せ的な手法で解析することが出来るそうです．


上記の行列の定性的解析の考えを，行列を用いて定式化される数理計画問題に応用したものが，組合せ的手法を用いた数理計画問題の定性的解析です．数理計画問題とは，特定の条件を満たす解のうち最適なものを探し出す問題のことであり，多くの現実的な問題が数理計画問題に帰着されています．そのため，その定性的な解析が重要になってきます．例えば，機械を最適に動かすための制御にも数理計画問題が応用されています．そこでは，機械に関して測定された様々な数値データを元に数理計画問題を作り，その数理計画問題の解を元に制御器を作成します．しかしながら，現実の世界の測定結果には誤差が必ず含まれており，得られた制御器の性質はその誤差に影響されているかも知れません．そこで，そのような誤差に影響されない定性的な性質を知る手法が必要になります．垣村さんは，数理計画問題の一種である線形計画問題に対し，その最適解の符号パタンの集合が一意であるか否かという，符号可解性を高速に解析する手法を提案されました．さらに，提案された手法での解析結果を元に，最適解の符号だけでなく最適解そのものも高速に計算する手法を提案されています．組合せ的手法による解析は求解の高速化にも有効であり，応用上重要な今後の研究が非常に楽しみな研究だなと感じました．

数理第3研究室 助教 江本健斗

発表スライド：

第３回数理助教の会

View more presentations from Naonori Kakimura

第２回助教の会

第二回目は数理第三研究室の江本健斗さんに「準同型に基づくスケルトン並列プログラミング」という題で話していただきました．今回からブログのタイトルが“数理助教「の」会”になりました．

プログラミングの研究とはそもそも，「正しくかつ効率的なプログラムを作る」ことをいろいろな意味で容易にさせることを目的としますが，江本さんはその中でも並列計算プログラミングを支援する枠組みを，データ構造の代数的な側面，特に「準同型」に注目して研究を進めています．逐次的な処理はプログラムが容易でも，時にそれを効率的に並列化させることは自明ではありません．そこで，並列化プログラミングを支援する構造の一つとして「スケルトン」という考え方があります．スケルトンとは並列計算の基本パタンのようなもので，スケルトンを組み合わせることで効率的な並列計算アルゴリズムの設計が容易になります．例えばGoogleのMapReduceが有名です．しかし，ある問題が与えられたときにそれにどうスケルトンを適用すれば良いかという統一的なルールや枠組みがあるわけではありません．江本さんの研究のアイディアは，データ構造を代数系とみなし，オペレータに備わっている準同型性を利用することで，構成的に並列化を実現するというところにあります．準同型性を利用することにより，バッチ処理を並列分散化させる過程があくまで代数的・機械的になされます．これより，対象となるデータ構造とそれに対する処理を書くだけで自動的に並列化させることが可能になります．江本さんはリストのような１次元のデータ構造だけでなく，二次元の代数系に対していかに準同型性を利用した並列化ができるかという研究もされているそうです．一連の研究は，C++のExpression Templateを利用し，SkeToというライブラリとして実装・公開されています．

Homomorphism-based Skeletal Parallel Programming

View more presentations from emoken34.

「助教会」のブログをはじめるにあたって

皆さんはじめまして。

「助教会」というと耳慣れない言葉だなと思われたかもしれません。この会は東京大学の本郷キャンパスにある数理情報学専攻の助教が定期的に集まってお互いの研究の情報交換をしようと今月 (2011年4月) 立ち上がったものです。

今までそういう会がなかったのか？同じ専攻なのにお互いの研究内容を知らないの？と不思議に思われるかもしれませんが、実際その通りでした。

せっかく集まって研究の話をするので、その成果を外部の方にも分かりやすい形で公開しようという趣旨でこのブログを立ち上げました。

また、研究室選び、学科選び（東大には進学振り分けという仕組みがあります）の参考にして頂けるかなということや、そもそも助教という人種が何を考え、何に熱中しているのか（面白いかどうかはともかく）知っていただけたらという動機もあります。

実際「数理情報学」って何ですか？と聞かれたときに一言で答えるのは難しいです。「現実問題を数学的にモデル化して・・・」はいもう十分ですよね（興味のある方はこの本を見てみて下さい）。このブログではひとりひとりの研究にフォーカスしてその味わいどころ、と「数理」がどう現実社会に繋がっているか、を少しでもお伝えできたらなと思います。

数理第6研究室 助教 冨岡亮太

第1回助教会

記念すべき数理助教会のトップバッターは第5研究室の鈴木大慈さんです。今日の発表のタイトルは "Theory for Information Integration in Statistical Learning" で日本語で言うと「統計的学習における情報統合の理論」というところでしょうか。

発表の内容は盛りだくさんの3本立てで、

1. ベイズ推定の事前分布をどう決めるかという話
2. 相互情報量を用いた特徴選択法の話
3. 複数のカーネルを用いたカーネル法の性能解析の話

とどれも1回分くらいの広がりのありそうな話です。情報統合というのは色々な意味で使われる言葉だと思いますが、今日の発表の中では (a) 複数の学習機械をベイズ推定の枠組みの中で組み合わせること、(b) 複数の情報源があるときにうまく有用な情報を組み合わせ、不要な情報を捨てることという2種類の意味で使われていたように思います。1は(a)の話で2と3は(b)の話です。

1. の話の背景にはベイズ推定というものがあります。ベイズ推定では事前分布をどう選ぶかが問題となるのですが、事前分布というのは答えがどこにありそうか、あらかじめあたりを付けておくようなものなので答えが分からないときは一様にしておくのが良さそうです。この一様な分布をここではJefferys事前分布と言いますが、この話の味わいどころは対象とするモデル（というのは何らかのパラメータをもつ確率分布の集合）の幾何学的な形状によってはJefferys事前分布を性能で常に上回る事前分布が作れるというところです。このような事前分布が作れるかどうかはモデルの上のラプラシアンで決まるランダムウォークが再帰性を持たないことが必要十分条件です。鈴木さんはすでに得られていた結果[1]を一般のα-ダイバージェンスを評価基準とした場合のβ-事後分布に拡張しました[2]。この時α≠βの場合にランダムウォークにラプラシアンによる拡散項だけでなく、一種のドリフト項が現れるのだそうです。


スライド前半:

Jokyokai

View more presentations from trinmu

スライド後半:
jokyokai2



参考文献
[1] "Shrinkage Priors for Bayesian Prediction." F. Komaki. The Annals of Statistics, 34(2), 808-819, 2006.
[2] "On prior selection and covariate shift of β-Bayesian prediction under α-divergence risk." T Suzuki and F. Komaki. Communications in Statistics --- Theory and Methods, 2010.