統計学輪講 第17回

Adjoint法は，常微分方程式(ODE)の解のパラメータについての勾配を状態に比例する大きさのメモリで求めることが可能な手法である．また，Neural ODE[1]はODEにおける変数の変化率を表す関数をニューラルネットワークで置き換えたものに対し，Adjoint法で勾配を求める手法であるとみなせる．ODEに留まらず，より様々な現象をモデリングできる確率微分方程式(SDE)に関してもAdjoint法を用いた勾配計算手法が提案されており，様々な研究が行われている．

SDEへAdjoint法を適用する際には，ODEの場合と比べて計算上工夫を行ったり，適切 な仮定を置く必要が生じる.
紹介文献の手法では，SDEの解を誤差が小さい形で近似するにはSDEのadjoint方程式のノイズ項がcommutative noiseであるという性質が必要で，そのためにSDEのノイズ項の各成分が独立であるという仮定をおく必要がある.
また，計算時間に関してSDEのノイズ項計算でBrownian Treeを用いることで，SDEソルバーのステップ数をLとするとO(LlogL)でパラメータ数によらず計算が可能である．

SDEの学習において観測データを用いる場合，単純な最尤法を用いるとノイズ項が学習できない．そこで，観測データが対応する潜在変数から得られるとした上で，その潜在変数の事前分布と事後分布をそれぞれ別のパラメータを持つSDEとしてモデル化すると，モデルのELBOを最大化することによりデータに対するSDEの潜在変数モデルを学習することができる．

本発表では，Adjoint法やNeural ODEに関する説明を行う．その後，Adjoint法のSDEの適用，理論的考察，潜在変数モデルに関する文献[2]の紹介及び考察を行う．

[2] Li, X., Wong, T. K. L., Chen, R. T., & Duvenaud, D. (2020). Scalable gradients for stochastic differential equations. In International Conference on Artificial Intelligence and Statistics (pp. 3870-3882). PMLR.