第１８回助教の会

第１８回目の助教の会では，数理第５研究室の鈴木大慈さんに発表していただきました．発表のタイトルは”PAC-Bayesian Bound for Gaussian Process Regression and Multiple Kernel Additive Model”というもので，無理やり和訳すると「ガウス過程回帰を用いたマルチプルカーネル加法モデルに対するPAC-Bayesian 上界」とでも言うのでしょうか．本発表はConference on Learning Theory (COLT2012) という学習理論の国際会議での発表を，一般の数理の人向けに少しアレンジしたものでした．

発表タイトルの意味するところを読み解いていくと，研究成果としては，ノンパラメトリック回帰のためのスパース加法モデルを推定するために用いられるマルチプルカーネル学習に対し，PAC-Bayes 的な手法を用いて収束のレートを評価したというものです．その際，事前分布にガウス過程を導入し，これが理論評価のための１つのキーになっているそうです．

少し用語の説明も加味しながら研究成果をざっくりと解説すると，まずノンパラメトリック回帰とは，学部の授業で習う線形回帰Y=Xθのようなパラメータθを含む形をとらずに，（ある程度なめらかな関数を用いて）モデルを推定する方法です．やりたいのは，下図のように，サンプル点が与えられたときに適切な曲線をえがくことです．

スパース加法モデルは高次元ノンパラメトリック回帰において各説明変数ごとに（非線形）関数を割り当て，それらの和をデータに当てはめるモデルです．その際，各非線形関数を再生核ヒルベルト空間というある関数空間から適当にとってきた関数で表現する，いわゆるマルチプルカーネルが有用であるということでした．具体的にモデルを推定する方法としては，ある最適化問題を解くことになりますが，その際，正則化項を導入して少ないカーネル関数の和でモデルを表現することを目指します．これがマルチプルカーネル学習です（下図）．

この推定において，サンプル数nを増やすにつれて推定された関数は求めるべき関数に収束します．その収束性に関しては，Restricted Eigenvalue 条件を仮定することで高速なレートを達成できることが理論保証されていましたが，Restricted Eigenvalue 条件は強い仮定で，これを外すことが望まれていました．

鈴木さんはこの問題に対し，上に示した意味でのスパースな解による推定と，事前分布に（スケーリングした）ガウス過程のミクスチャーを導入した，ベイズ的マルチプルカーネル学習を考え，このタイプのマルチプルカーネル学習を行えば，既存の収束レート評価に必要だったRestricted Eigenvalue 条件を外した形で高速な収束レートを実現できることを示しました．発表ではいくつかの問題例に対する収束レートを示し，スケールミクスチャーの導入により高速なレートの評価ができることを強調してらっしゃいました．

鈴木さんの助教の会での発表は２回目でして，今回は数式や関数解析に登場する用語がかなり多くて専門的な内容になっているなあと思って１回目の鈴木さんの発表（第１回助教の会）のブログを見てみると，前回もかなり内容が盛りだくさんだったことを思い出しました．鈴木さんの手を抜かない性格と研究の迫力を感じさせられました．

数理3研助教 相島健助

PAC-Bayesian Bound for Gaussian Process Regression and Multiple Kernel Additive Model from Taiji Suzuki