統計学輪講 第14回

非正規化モデルとは、非正規化密度（積分が1にならない密度）によって定義される統計モデルであり、機械学習分野ではenergy-based modelとも呼ばれている。このようなモデルはデータの柔軟なモデリングを可能とするが、計算困難な規格化定数を含むために最尤推定を行うことは難しい。そこで、score matchingやnoise contrastive estimationなど規格化定数の計算を必要としない推定手法が考案されている。
本発表では、score matchingおよびnoise contrastive estimationに基づいた非正規化モデルの情報量規準について紹介する。また、noise contrastive estimationの応用として、深層学習によって得られる特徴量を教師なしクラスタリングに用いる手法を紹介する。