統計学輪講 第26回

機械学習のタスクでは画像データなど高次元のデータが現れるが，データ間の関係には暗に低次元構造が存在することがしばしばある．single-index model は，出力の値が高次元入力の1方向にしか依存しないような関数であり，低次元構造を極限まで単純化したモデルとも言え，これをどれほどの効率で学習できるかは理論的にも重要な問題である．

発表の前半では，L2正則化を加えた確率的勾配降下法により2層ニューラルネットワークが single-index model を効率的に学習できることを示した文献 [1]を中心として，single-index modelの学習に関する基本事項と先行研究をまとめる．特に2層ニューラルネットワークの学習においては，1層目のニューロンが真の方向を捉える特徴学習の働きが本質的に重要であることを指摘する．

また発表の後半では，陽に正則化を与えなくとも特徴学習が実現できる例として，確率的勾配降下法の毎ステップで出力データにラベルを加えるラベルノイズという手法について発表者が行なった一連の数値実験，及びそれに対する考察をまとめる．

参考文献:
[1] A. Mousavi-Hosseini, S. Park, M. Girotti, I. Mitliagkas, and M.A.Erdogdu: Neural networks efficiently learn low-dimensional representations with sgd. arXiv preprint arXiv:2209.14863.