統計学輪講 第19回

Regularized M-estimatorは最小化問題に正則化項が加わった推定量であり、代表的なものとしてLasso回帰やRidge回帰が挙げられる。このような推定はその性質上パラメータ数が多いような状況で多く使われているが、その高次元での知見は限定的であった。
本発表ではconvex gaussian min-max theoremを用いてこれらの推定量の高次元での推定誤差を導出した論文として文献[1]を紹介する。
また、一般的に最適な正則化項への重みは正であると考えられていたが、高次元で最適な正則化項への重み付けが負になる現象を報告した論文として文献[2]を紹介する。

[1] C. Thrampoulidis, E. Abbasi and B. Hassibi, "Precise Error Analysis of Regularized M -Estimators in High Dimensions," in IEEE Transactions on Information Theory, vol. 64, no. 8, pp. 5592-5628, Aug. 2018, doi: 10.1109/TIT.2018.2840720.
[2] Dmitry Kobak, Jonathan Lomond, and Benoit Sanchez. 2020. The optimal ridge penalty for real-world high-dimensional data can be zero or negative due to the implicit ridge regularization. J. Mach. Learn. Res. 21, 1, Article 169 (January 2020), 16 pages.