統計学輪講 第23回

ニューラルネットワーク (NN) は複雑なシステムであるため、通常はネットワーク内部の挙動を知ることは難しい。しかしテンソルプログラム (TP) フレームワークを用いることで、ネットワークの無限幅極限における内部の挙動を理解することが可能となる。
本発表の前半では、Yang and Hu (2021) を引用することでTPの定義とマスター定理を紹介する。また、TPとマスター定理の応用についても触れる。
本発表の後半では、現在行なっている研究の進捗を報告する。従来のTPフレームワークでは、一般的なスケーリングの注意機構を扱うことができない。そこで本研究では、注意機構に対応するようにTPの定義を拡張した上で、マスター定理を証明することを検討する。

参考文献
[1] Yang, G. and E. J. Hu (2021). Tensor programs iv: Feature learning in infinite-width neural networks. International Conference on Machine Learning. PMLR, 11727-11737.