統計学輪講 第6回

Jacot(2018)とXu(2020, 2021)の論文を紹介する。
各階層の分散を一定に維持するように初期化された完全連結ニューラルネットワークを考える。そのようなニューラルネットワークの幅が無限にいくにつれて、十分小さい学習率の勾配下降法で学習させることは、カーネル法によって定義できること。そのカーネルを、ニューラルタンジェントカーネルという。したがって、幅が十分大きい完全連結ニューラルネットワークの学習は、カーネル空間における線形回帰と同値であり、その解は微分方程式の形で求まる。さらに、活性化関数としてReLU関数を用いるニューラルネットワークをカーネル法によって表現することで、学習データの分布の外側に対する予測誤差が線形に増えることが確認できる。このことを、ニューラルネットワークの線形外挿（Linear Extrapolation）という。これが、ニューラルネットワークが、現実世界の新しい現象や変化に対応できなくする要因である。
ニューラルネットワークを用いて外挿を容易にするテクニックとして、Algorithmic Alignmentを紹介する。Algorithmic Alignmentとは、ニューラルネットワークがあるアルゴリズムまたは関数を学習する際、少ないサンプル数でも一定の誤差率を維持する状態をいう。これを活用して近似したい関数の非線形演算をモデルの学習アルゴリズムに組み込むことで、仮説関数を線形化できる。この発表では、Graph Neural Networks(GNN)と動的計画法の関係からAlgorithmic Alignmentの例を紹介し、GNNが動的計画法を外挿できることを示す。