統計学輪講 第11回

近年，Mambaに代表されるSelective State-Space Model（SSM）やLinear Controlled Differential Equation（LNCDE）は，長系列データを線形計算量で処理可能な手法として注目されている。しかし，既存手法は計算効率と表現力の間にトレードオフを抱える。対角状態遷移を用いるモデルは高速な並列計算を実現できる一方で変数間相互作用の表現能力が制限され，密な状態遷移を用いるモデルは高次の経路特徴量を抽出できるものの計算量が大幅に増加する。

本発表では，時間発展と変数間相互作用を構造的に分離するTensor-Decoupled Controlled Differential Equation（TD-CDE）を提案する。提案手法では，時間方向の更新を入力依存な対角減衰に制限することで高速な並列スキャンを維持しつつ，変数間相互作用を深さ方向のTensor Train（TT）分解により表現する。これにより，シグネチャに対応する多重積分構造を低ランク表現として効率的に学習できる。