統計学輪講 第19回

回帰モデルの変数選択に望まれる性質のひとつに一致性、つまり、真のモデルを選択する確率が漸近的に1になる性質が挙げられる。情報量規準を用いた、多変量線形回帰モデルの変数選択に関して言えば、大標本漸近理論（データの数が大きいとき）ではBICによる変数選択が一致性を持つ一方で、AICによる変数選択はそうではないことが、古くから知られている。しかし、近年注目されている高次元漸近理論（データの数と共に被説明変数の次元が大きいとき）では、AICによる変数選択が一致性を持つ一方で、BICによる変数選択はそうではないことが示されている。

そこで、大標本・高次元の両方で一致性を持つ変数選択が関心の対象になるが、それはGICやGCpに基づくものがいくつか提案されている。しかし、これらの規準は、既存の規準の罰則項を人為的に調整したものであり、KL情報量や二乗誤差の最小化という、規準本来のアイデアを無視している。そこで、本報告では、パラメータにspike and slab事前分布を仮定したベイズモデルを考え、そこから自然に導出される情報量規準を提案する。さらに、この規準に基づく変数選択が、適当な仮定のもとで、大標本・高次元の両方で一致性を持つことを示す。その上で、この規準の漸近的な性質を議論し、また、数値実験を通して有限標本でのパフォーマンスを検討する。