統計学輪講（第15回）

深層学習の関数近似理論とその汎化誤差解析への応用，およびモデル圧縮手法について述べる．

まず最初に ReLU 活性化関数を用いた深層ニューラルネットワークの関数近似能力について，wavelet 解析を用いた解析について述べる． 特に，これまでの Hölder 空間での解析を拡張して Besov 空間および mixed-smoothness を持った Besov 空間での近似能力を導出する． 導出されたレートは任意の非適応的関数近似手法よりも良いレートを達成する． 推定精度についても poly-log(n) オーダーを除いてミニマックス最適レートを達成することを紹介する． そのため，特に空間的に滑らかさが一様でないようなパラメータ設定において線形推定量をミニマックスリスクの意味で優越することが示される． また，mixed-smoothness を仮定すれば次元の影響を小さく抑えることができることも紹介する． これらの性質は，深層ニューラルネットワークが特徴量抽出機として高い適応力を持つことを示唆している．

後半では，カーネル法の理論を用いた汎化誤差解析について述べる． 深層学習は大きなネットワークでも汎化することが実験的に知られている． その一つの理由として，ネットワークの隠れた次元が小さいことが考えられる． その隠れた次元として，古典的な「自由度」を用いることで，実際にネットワークがより小さなネットワークに圧縮できること，およびそれによって汎化性能が保証されることを紹介する． また，理論に合った圧縮方法を提案し，種々のデータセットで実施した数値実験の結果を紹介する．