| 概要 |
畳み込みニューラルネットワーク（以下，CNNと表記）のモデルの一つであるNeural ODE [1]と，それに関連するモデルについての文献紹介を行う．
CNNは深層学習の一種であり，人間の視覚細胞のはたらきを畳込み層とプーリング層によって再現することによって，画像認識や手書き文字認証などのタスクにおいて高いパフォーマンス性を示してきた．CNNのモデルに関する研究は現在も盛んに行われており，2016年に発表されたResNet [2]は残差学習を用いることによって高い汎化性能を示した．Neural ODEはResNetの表式が陽的オイラー法の式に似ていることに着目し，モデル全体がある常備分方程式を満たす関数になっているとみなし常微分方程式を解くことでモデルの最適化を行い，従来の「層」という概念を取り払うことでメモリ消費量を削減しつつResNetと同程度の高い汎化性能を示した．さらにNeural ODEを発展させたAugmented Neural ODE [3]では，Neural ODEでは実現不可能な関数が存在するという問題を次元拡張によって回避し，収束を安定させ汎化性能を高めることに成功した．
発表の最初にCNNに関する基本事項について述べ，ResNet，Neural ODE，Augmented Neural ODEの順にモデルの構造・メリット・デメリットなどについて紹介する．
参考文献
[1] Ricky T. Q. Chen et al. “Neural Ordinary Differential Equations”. In: Advances in Neural Information Processing Systems 31. Ed. by S. Bengio et al. Curran Associates, Inc., 2018, pp. 6571–6583.
[2] K. He et al. “Deep Residual Learning for Image Recognition”. In: 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2016, pp. 770–778.
[3] Emilien Dupont, Arnaud Doucet, and Yee Whye Teh. “Augmented Neural ODEs”. In: Advances in Neural Information Processing Systems 32. Ed. by H. Wallach et al. Curran Associates, Inc., 2019, pp. 3140–3150.
|