統計学輪講 第9回

本研究は説明変数が時系列構造を持つ正則化を行わない線形回帰の問題を考える。説明変数の数がサンプル数を上回る過剰パラメータを設定し、完全にデータに適合する回帰を行っても時系列構造と各時点での分布のバランス次第で高い予測性能を持つことを示す。
パラメータの数がサンプル数よりも多く、訓練データに対して完全に適合してしまうにもかかわらず高い予測性能を持つモデルとして、深層ニューラルネットワークモデルが近年注目を浴びている。このメカニズムを部分的に説明するアプローチとして、過剰パラメータを持ち正則化を行わない線形回帰が調べられている。特に独立同分布な説明変数の共分散作用素の固有値分布次第で予測性能が高くなることが示されており、この結果を説明変数に高次元時系列過程をとる確率回帰モデルにおいて一般化する。特に予測性能が説明変数の長期従属構造と共分散作用素の固有値分布のバランスから受ける影響を示す。