統計学輪講（第２４回）

統計学輪講（第24回）
日時      2012年12月18日(火)    14時50分～16時30分
場所      経済学部新棟３階第３教室
講演者    廣瀬　善大 (情報理工)
演題      条件付き正規化最尤分布（Conditional NML）

概要
本発表では，条件付き正規化最尤分布（Conditional Normalized Maximum
Likelihood, CNML）の紹介を行い，その許容性・minimax性に関する性質について
述べる．情報理論における符号化では，符号長と確率分布を同一視し，確率分布
の対数を符号長として扱う．関連する損失関数としてリグレット（regret）や
リダンダンシー（redundancy）などが用いられている．特に，リグレットの
minimaxを
達成する確率分布として提案されているのが正規化最尤分布（Normalized
Maximum Likelihood, NML）である．リグレットとは，確率変数の実現値が
与えられた場合に，用いる確率分布による符号長と最尤推定による符号長
（実現値を見てから符号化を行う「あとだし」符号化）との差をとったものである．
NMLを定義するためには正規化定数（確率変数の各実現値に対する最尤推定値
にもとづく確率を合計したもの）が有限でなければならない．しかし，簡単な分布の
例においても正規化定数の発散が起こるなど，NMLが定義できない場合も多い．
CNMLは，条件付き分布を扱うことにより，NMLの困難を回避しつつある種の
minimax性を達成する確率分布である．NMLの考え方を応用した条件付き分布に
ついて，Grunwald (2007)における３つの異なる定義を紹介する．これらはそれぞれ
minimaxを考える際の符号長の比較対象が異なっている．また，CNMLが
Kullback-Leiblerダイバージェンスについて非許容的になる例を確認する．さらに，
Kullback-Leiblerダイバージェンスに関してCNMLを優越する分布が，リスク（それぞ
れの損失関数の期待値）をminimaxにする確率分布として得られることを示す．