統計学輪講 第22回

勾配ランジュバン動力学(Gradient Langevin Dynamics, GLD)は機械学習などの分野で現れる確率分布からのサンプリングと非凸最適化に対して基本的で有効な手法であることから近年その離散スキームの収束性に関する理論研究が注目を集めている．
機械学習の分野では主要な関数が膨大なサイズのサンプル平均で表せることが多くその勾配の計算量を削減する必要があり，確率的な勾配計算に分散縮小の手法を取り入れた SVRG-LDやSARAH-LDは優れた勾配計算量を示すことが知られている．しかし，理論保証の開拓は非確率的な離散スキームである Langevin Monte Carlo よりも遅れておりそのギャップを埋める必要がある．
そこで我々の研究ではGLDの分散縮小型確率的離散スキーム(SVRG-LD と SARAH-LD)の収束条件の緩和とその収束性の改善を行った．同時に同条件の非確率的離散スキームや同じアルゴリズムに関する既存研究よりも勾配計算量を改善できることも示した．結果を非凸最適化に応用し大域的最適解への収束性を改善，weak Morse の条件を設けることでその収束性を高速化できることも示した．
本発表では，近年のGLDに関する理論保証の動向を説明しつつ，この分野における 我々の研究成果について述べる．