統計学輪講 第8回

ニューラルネットワーク（NN）において，層内のパラメータや潜在ベクトルが時々刻々と変化する様子を微分方程式でモデル化し，それをもとに算法設計や理論解析を行う流れは，2016年のNeural ODE[Chen et al., 2016] を契機に広く広がり，近年ではFlow Matching[Lipman et al., 2023] と呼ばれる生成モデルの構築・解析へと発展している。こうした発展において中心的な役割を果たしてきたのが，最適輸送理論におけるワッサースタイン勾配流の枠組みである。ワッサースタイン勾配流は，確率測度に対する汎関数を最適化する非線形偏微分方程式として知られ，もともとは浅いNNの学習ダイナミクスを理解するために用いられてきた。しかし，深層NNやNeural ODEといった“連続無限層”モデルでは，極めて強い非線形性により，従来の凸性仮定を前提とした勾配流理論では十分な解析が困難であるという課題がある。

本講演では，このような背景を踏まえ，連続無限層NNの学習ダイナミクスにおける大域収束性の結果を紹介する．その解析の鍵は，非線形放物型方程式論において古くから知られたŁojasiewicz–Simon 不等式を，ワッサースタイン勾配流に対しても確立することにある．

本講演の内容は，以下の内容に基づく：
・N. Isobe, "A convergence result of a continuous model of deep learning via\L {} ojasiewicz--Simon inequality," arXiv preprint arXiv:2311.15365