統計学輪講 第12回

日時 2026年07月07日(火)
14時55分 ~ 15時45分
場所 経済学部新棟3階第3教室
講演者 中山 裕夢 (経済M2)
演題 ノイズ対照推定による非正規化隠れマルコフモデルの推定
概要

統計モデルの尤度関数が計算困難な正規化定数を含む場合、そのモデルは非正規化モデルと呼ばれる。非正規化モデルは深層学習やコンピュータービジョン、方向データのモデリングなど、機械学習および統計学の複数の分野において現れる。この場合、最尤推定などの尤度に基づいた統計的推測は困難になる。ノイズ対照推定[1]は非正規化モデルの推定方法の1つであり、人工的なデータをシミュレートし、観測データと人工データを判別するロジスティック分類器の尤度最大化を行うことでパラメータと正規化定数を同時に推定する方法である。人工データが「良い」性質を持つとき、得られた推定量は漸近的に望ましい性質を持つことが知られている[2]。また、有限混合モデルへの拡張も行われている[3]。

本発表では前半にノイズ対照推定について紹介し、後半では現在取り組んでいる研究である、ノイズ対照推定の非正規化隠れマルコフモデルへの拡張について紹介する。非正規化隠れマルコフモデルでは、状態ごとに異なる正規化定数が現れることに加え、時間的に従属する状態の推定を扱うため、その拡張は自明ではない。

本研究は松田孟留先生との共同研究です。

[1]Gutmann, M. U. and Hyvarinen, A. (2012). Noise-contrastive estimation of unnormalized statistical models, with applications to natural image statistics. Journal of Machine Learning Research, 13, 307-361.
[2]Riou-Durand, L. and Chopin, N. (2018). Noise contrastive estimation: Asymptotic properties, formal comparison with MC-MLE. Electronic Journal of Statistics, 12, 3473-3518.
[3]Matsuda, T. and Hyvarinen, A. (2019).Estimation of non-normalized mixture models.Proceedings of the 22nd International Conference on Artificial Intelligence and Statistics.