統計学輪講（第２１回）

統計学輪講（第21回）
日時      2013年12月03日(火)    14時50分～15時40分
場所      経済学部新棟３階第３教室
講演者    廣田　正之 (情報理工M1)
演題      Proper Local Scoring Rules(文献紹介)

概要
Hyv\"{a}rinen [1]及びParry et al. [3]を紹介する.
機械学習や信号処理などの分野において, 確率密度関数の正規化定数の計算が困難である場合が存在する. 
このような確率分布のパラメータ推定において, Hyv\"{a}rinen [1]は正規化定数の計算が不要な
パラメータ推定法(score matching)を提案した. しかしscore matchingを使うための仮定を満たさない分布が
存在するため, Hyv\"{a}rinen [2]はモデルに応じて推定法を修正する必要があることを指摘した.
ところでscore matchingはproper scoring rulesの1つとして解釈できる(Hy\"{a}rinen scoring rule). 
Parry et al. [3]は, 標本空間が1次元ユークリッド空間上の区間の場合, Hy\"{a}rinen scoring rule以外にも
正規化定数の計算が不要なproper scoring ruleが存在することを指摘した. さらにHyv\"{a}rinen [2]が
行ったようなscoring ruleの修正法以外にも修正法が存在することを指摘した.

本発表ではHyv\"{a}rinen [1]のscore matchingを説明した後,  Parry et al. [3]が指摘した修正法, 
及びHy\"{a}rinen scoring rule以外で正規化定数の計算が不要なproper scoring ruleが存在することを説明する.


[1] A. Hyv\"{a}rinen: Estimation of non-normalized statistical models by score matching.
Journal of Machine Learning Research, vol.6 (2005), pp.695-709.
[2] A. Hyv\"{a}rinen: Some extensions of score matching.
Computational Statistics and Data Analysis, vol. 51 (2007), pp. 2499-2512.
[3] M. Parry, A. P. Dawid, S. Lauritzen: Proper local scoring rules. The Annals of
Statistics, vol.40, No.1 (2012), pp.561-592.