統計学輪講 第08回

深層学習の計算コスト削減のため，量子化という手法が提案されている[1][2]．
量子化では，ビット数を指定し，ある範囲内の連続値を離散値に変換する．
本研究では，量子化範囲とビット数に応じて，重みパラメータを量子化した統計モデルの汎化性能がどう変わるか理論的に調べた．
発表では，解析手法である統計物理と，主な解析結果を紹介する．
本発表は，今泉允聡准教授(総合文化)，坂田綾香准教授(統数研)との共同研究に基づく．

参考文献:
[1]Wu, H., Judd, P., Zhang, X., Isaev, M., & Micikevicius, P. (2020). Integer quantization for deep learning inference: Principles and empirical evaluation. arXiv preprint arXiv:2004.09602.
[2]Gholami, A., Kim, S., Dong, Z., Yao, Z., Mahoney, M. W., & Keutzer, K. (2021). A survey of quantization methods for efficient neural network inference. arXiv preprint arXiv:2103.13630.