統計学輪講 第1回

深層学習は人工知能(AI)の中核をなす技術であり、その動作の原理を記述・解明する研究が盛んに行われている。特に近年は、深層学習のダイナミクス(動力学)、すなわちニューラルネット等が学習・推論をする過程での時間変化するかを精密に記述することが、従来の研究で解明できなかった深層学習の性質を明らかにできると期待されている。本研究は、深層ニューラルネットワークの学習ダイナミクスと、より現代的なアーキテクチャであるトランスフォーマーの推論ダイナミクスに関する研究結果を報告する。具体的には、多層ニューラルネットワークの学習で表れる層ごとの時間構造の違い、層の多いニューラルネットの学習ダイナミクスの精密解析、トランスフォーマーの推論モデルで登場する縮退と振動構造などの研究の成果を説明する。これらの理論解析に基づき、深層学習技術への応用可能性や人工知能の理論解析への接続について議論する。これらの解析は、パラメータ数や入力変数次元などが無限大になる高次元構造を活用し、モデルのマクロ構造が時間によって遷移する様子を精密に記述する数学的な技術を活用する。