統計学輪講（第16回）

日時      2011年11月08日(火)    15時00分～16時40分
場所      経済学部新棟３階第３教室
講演者    鈴木 大慈 (情報理工)
演題      On Convergence Rate of Multiple Kernel Learning with Various Regularization Types

概要
本発表ではMultiple Kernel Learning (MKL) の統計的な収束レートを様々な正則化
法に関して議論する．MKLはGroup Lassoをカーネル法へも適用できるよう拡張した手
法であり，もともとはL1正則化を用いるものとして提案されていた．しかし近年の数
値実験によると，多くの場合でスパースなL1正則化よりもデンスな解を導く正則化の
方が良い性能を示すことが報告されている．そこで，我々はエラスティックネットや
Lpノルムを含む様々な正則化に関して新しいタイトな収束レートを導出し，どのよう
な正則化項が望ましいかを議論する．そのため，二つの状況（真がスパースな状況お
よび真がデンスな状況）を考えて議論を進める．スパースな状況ではエラスティック
ネットが真の滑らかさを適切に捉える事が出来ることを示す．デンスな状況では，任
意のノルム型正則化に適用可能な統一的な枠組みを与える．その一般論を用いて，再
生核ヒルベルト空間の複雑さのばらけ具合が最適な正則化項の決定に影響することを
示す．すなわち，複雑さが一様な場合は等方的なノルムの中でL1正則化が最適であ
り，非一様な場合はデンスな正則化が好ましいことを示す．このことは数値実験によ
っても支持されるということを紹介する．