統計学輪講 第10回

日時 2019年6月25日(火)
15時45分 ~ 16時35分
場所 経済学研究科棟 3階 第3教室
講演者 中田 竜明 (経済学研究科M2)
演題 データの固有次元に基づいた深層ニューラルネットワークの汎化誤差解析
概要

本研究は深層ニューラルネットワークのノンパラメトリックな近似誤差・汎化誤差の解析を行った. 深層ニューラルネットワークは, 適切なパラメータ数とレイヤー数のもとで最適な Minimax 収束レートを達成することが知られている. しかしそのレートは入力次元に依存し, 入力が高次元の場合には非常に遅い収束レートとなる. 一方で, 画像データなどの現実のデータでは, データのサポートが表面的な次元よりも低次元に分布していることが観測されている. 本研究では, この事実を元に, P をデータの生成分布としたとき,

  1. L(P) 近似レート
  2. L2(P) 収束レート
がそれぞれ入力の次元ではなく, P の固有次元に依存することを示した. さらに, 特定の固有次元を持つ分布 P に対する Minimax 収束レートを導出し, 深層ニューラルネットワークがこの収束レートをほぼ達成することを示した.