統計学輪講(第5回)

日時 2018年5月8日(火)
15時45分 ~ 16時35分
場所 経済学研究科棟 3階 第3教室
講演者 羽場 智哉 (情報理工学系研究科M2)
演題 スパース正則化による高次元少数データに対する二次回帰の変数選択手法(文献紹介)
概要

N. Hao, Y. Feng and H. Zhang (2016) [1] を紹介する。

説明変数同士の相関があるときの回帰モデルとして二次回帰がある。 高次元少数データに対しては LASSO をはじめとするスパース正則化が必要であるが、二次回帰において、Nelder (1977) [2] では、主効果を持たない説明変数は交互作用も持たないという原理 (Marginality Principle) を説いている。 そのためスパース推定においても、この原則を考慮に入れなければならない。 Efron et al. (2004) [3] では一段階目で主効果のインデックスの推定、二段階目で交互作用を含めた回帰パラメータの推定をすることで、Marginal Principle を満たしながら推定する二段階 LASSO が提案されている。

本発表では [3] で提案された二段階 LASSO の主効果の推定での理論的性質と、提案手法である、LASSO を用いた一段階推定手法 Regularization Path Algorithm under Marginality Principle (RAMP) について説明する。

[1] N. Hao, Y. Feng and H. Zhang: Model Selection for High-Dimensional Quadratic Regression via Regularization. Journal of the American Statistical Association, DOI: 10.1080/01621459.2016.1264956, 2016.
[2] J. Nelder: A Reformulation of Linear Models. Journal of the Royal Statistical Society, Series A, Vol. 140, No. 1, pp. 48–77, 1977.
[3] B. Efron, T. Hastie, I. Johnstone and R. Tibshirani: Least Angle Regression. The Annals of Statistics, Vol. 32, No. 2, pp. 407–499, 2004.