第１１回助教の会

　第１１回の数理助教の会では数理第６研究室の冨岡亮太さんに「行列およびテンソルデータに対する機械学習」というタイトルでおはなししていただきました。冨岡さんは機械学習の分野において第一線で活躍されている研究者です。また冨岡さんは、この数理助教の会の「いいだしっぺ」であり、この集まりを通じて多岐にわたる領域をカバーする数理工学分野の若手研究者の横のつながりを活発にするためにご尽力されております。

　行列は行と列の２軸上のデータとして見ることができます。さらに軸を増やしたデータはテンソルとよばれます。行列の低ランク分解についてはリコメンデーションに利用される協調フィルタリングなどの重要な応用がよく知られています。その一方で、テンソルに関しては機械学習においてまだ新しい研究対象であり、また最近冨岡さんが活発に取り組んでいる研究テーマだそうです。今回のトークでは、行列に対する判別モデルにおける低ランク分解の応用研究と、テンソルに対する生成モデルにおける基礎理論の研究を紹介していただきました。

　前半のトピックは、ブレイン・ コンピュータ・インタフェース（BCI）における行列の低ランク分解の応用のおはなしです。まず今回扱っている視覚と脳波を用いた文字入力のBCIであるP300 speller システム（Farwell & Donchin, 1988）について解説します。被験者はタテ・ヨコに６つずつ並んだ、計３６個の文字（アルファベット２６文字、１～９までの数字とアンダーバー）のうちの１つを一定時間じっと見続け、その間、ある１行またはある１列にある６文字が同時に光るというパターンがランダムに切り替わります。行と列はそれぞれ６つあるので、光り方のパターンは１２通りとなります。被験者が見ている文字の位置を複数の電極から得られる脳波データを用いて推定することが本システムの目的です。

　冨岡さんらの提案した判別手法では、ある１つの行または列の６文字が光っている短時間の脳波の行列データXについて、被験者が見ている文字が光っているか光っていないかを評価する判別器 f (X) = <X, W> + b を考えます。ここで、W と b を次の条件を満たすように決定します。

　（１）訓練サンプルに対する当てはまりが良い。

　（２）f を決める行列 W が低ランク分解される。

条件（１）に関連して損失項を、条件（２）に関連して正則化項を適切に設定することで、最小化問題を解くことで判別器が決定されます。

　冨岡さんらの提案手法のポイントは、正則化項でSchatten 1-ノルム（行列の特異値の線形和）を用いていることです。これによって考えるべき最小化問題が凸となり、高速に判別器を設計することができます。さらに、行ごと、列ごとのデータを別々に考慮することで、「もっともらしい」時空間フィルタを得ることに成功したそうです。

　後半のトピックはテンソルの低ランク分解です。テンソルは数学的に非自明な点が多く、サイズの小さいテンソルでも扱いが難しい面もあるそうです。テンソルのランクはCANDECOMP / PARAFAC 分解（CP分解）の意味でのランクとTucker分解によるランクなどがあります。

　冨岡さんの研究ではTucker分解を扱っており、またテンソルに対して低ランク化を促す正則化項として、いくつかの行列のSchatten 1-ノルムで表される、overlapped Schatten 1-ノルムを採用しています。このノルムを用いることで、低ランクテンソルの推定が凸最適化により可能となります。例えば、テンソル補完問題はテンソルの一部の値が見えている状況でランクの最小のテンソルを求める問題ですが、テンソル補完に対しoverlapped Schatten 1-ノルムを用いた緩和問題は凸最適化手法で解けるそうです。冨岡さんはテンソル分解に関する理論的な解析を与え、さらに解析結果と実験結果が「そこそこ」一致していることが確認されたとのことです。

　私自身は最適化理論の研究をしているのですが、冨岡さんの研究において最適化問題の扱いやすさがポイントとなっている点が興味深いです。連続最適化の分野と機械学習の分野の積極的な交流（このような交流は国際的にはある程度は進んではいるのですが）によって日本のグループでも面白い研究ができるであろうと感じました。冨岡さんによれば「テンソル業界はまだまだ人手不足」だそうですので、新しい領域に乗り込む意欲のある方は挑戦してみてはいかがでしょうか？

生産技術研究所 最先端数理モデル連携研究センター 永野清仁

行列およびテンソルデータに対する機械学習（数理助教の会 2011/11/28）

View more presentations from ryotat