統計学輪講 第16回

近年、階層性や木構造を含むデータの表現学習において、双曲空間のような負曲率を持つ潜在空間への関心が高まっている。しかし、変分オートエンコーダ（VAE）で用いられるユークリッド空間上の標準正規分布を双曲空間に一般化することは、正規化定数・再パラメータ化・数値安定性の観点から容易ではない。本発表では、S.Choら（2023）によるGaussian Manifold VAE (GM-VAE)と、その核となるPseudo-Gaussian Manifold normal (PGM-normal)を紹介する。PGM-normalは、一次元ガウス多様体においてKullback-Leibler（KL）ダイバージェンスから誘導されるFisher計量が双曲的な局所構造を与えることを利用している。サンプリングがガウス分布とガンマ分布の組み合わせに還元されるため、再パラメータ化による安定的なVAE学習が可能となる。
さらに、一次元ガウス多様体でのPGM-normalを多次元ガウス多様体の分布に拡張することができ、ガウス分布とWishart分布の組み合わせで容易にサンプリングできる。本発表では、VAEへの組み込み手順を整理し、この多次元版PGM-normalを用いた画像生成モデルでの追試実験の結果も報告する。
参考文献
・ D. P. Kingma and M. Welling. Auto-Encoding Variational Bayes. ICLR, 2014.
・ S. Cho, J. Lee, and D. Kim. Hyperbolic VAE via Latent Gaussian Distributions. NeurIPS, 2023.