統計学輪講（第７回）

統計学輪講（第7回）
日時      2014年06月03日(火)    15時40分～16時30分
場所      経済学部新棟３階第３教室
講演者    小島 睦月 (情報理工M2)
演題：Optimally-Weighted Herding is Bayesian Quadrature（文献紹介）

概要
Husz\'{a}r & Duvenaud [2] の文献を紹介する．

統計学や機械学習において数値積分は重要な問題である．
例えば周辺分布やベイズ予測分布を求める際に，
解析的に積分が求まらない場合には数値的に求める必要がある．

数値的に積分値を求める際，基本的な手法は
確率分布から独立に標本をN個サンプリングし，
サンプリング点での被積分関数の値の平均をとることで
求めたい積分の近似値とするモンテカルロ法である．
この近似値の収束レートはO(1/\sqrt{N})である．

この基本的なモンテカルロ法以外に，
今回発表する文献に関連する方法が二つある．
一つ目はChen et al. [1] が提案したkernel herdingという手法である．
この手法は経験分布と真の確率分布とのある距離を逐次的に最小化することで
決定論的にサンプリングする方法である．
Chen et al. [1] はこの手法の収束レートがO(1/N)であることを示した．
二つ目はO'Hagan [3] が提案したBayesian quadratureという手法である．
この手法では被積分関数に事前分布としてガウス過程を入れ，
被積分関数の事後平均により積分値を推定する方法である．

本発表で紹介する文献 [2] は Bayesian quadrature における
積分値の推定量の分散がkernel herdingで用いる確率分布間の距離に対応することを示した．
またこの考えに基づき，sequential Bayesian quadratureという手法を提案した．
発表では数値実験の結果を紹介し，行列式点過程との関係について触れる．

[1] Chen, Y., Welling, M., and Smola, A. (2010).
Super-samples from kernel herding.
In Proceedings of the 26th Conference on Uncertainty in Artificial Intelligence (UAI), pp. 109--116.

[2] Husz\'{a}r, F., and Duvenaud, D. (2012).
Optimally-weighted herding is Bayesian quadrature.
In Proceedings of the 28th Conference on Uncertainty in Artificial Intelligence (UAI), pp. 377--386.

[3] O'Hagan, A. (1991).
Bayes--Hermite quadrature.
Journal of Statitical Planning and Inference, vol. 29, pp. 245--260.