統計学輪講 第18回

近年のニューラルネットワークの成功には、モデルがデータの表現を学習する特徴学習が重要と考えられている。
[1]ではMLPにおける自然なパラメータ付けを導入し、特徴学習を"モデル幅無限大の極限でデータの埋め込み表現が\Theta(1)で更新されること"と定義し、その成否が初期化時の分散や学習率の適切なスケーリングで決まることを示す。
これらの結果はTensor Programsと呼ばれる枠組みで証明され、TPで表現できる任意のアーキテクチャに拡張可能である。

[1]Yang, Greg, and Edward J. Hu. "Feature learning in infinite-width neural networks." arXiv preprint arXiv:2011.14522 (2020).