統計学輪講 第21回

Kullback Leibler divergence等のダイバージェンスは、確率分布間の「遠さ」を測る尺度である。 本発表では、AICを筆頭とした、ダイバージェンスに基づいて導出されるモデル評価規準について、特に外れ値に対する頑健性に焦点を当てて述べる。

現実世界のデータには様々な由来を持った外れ値が付き纏うが、これには明確な定義を与え難く、線引きや排除をすることは極めて困難である。 そこで、モデルが想定しない外れ値が混入した際の評価規準の変動という観点から規準の頑健性を定義することで、評価規準を評価することが出来るようになる。

更に、データの周辺尤度関数をダイバージェンスに沿って一般化することで、BICのようなベイズ統計学的規準を導出することが出来るが、それによって選択の一致性が頑健性と両立可能であることが示される。 以上の内容を、数値例を交えつつ紹介する。