統計学輪講 第24回

本講演では，グラフニューラルネットワーク（Graph Neural Network; GNN）の表現能力に関する講演者らの研究 [1]を紹介する．

GNNはグラフ構造を持つデータを解析するための深層学習モデルである．近年 ，ケモインフォマティクス，関係データ解析，画像認識などに応用されている．しかし，多層パーセプトロンや畳み込みニューラルネットワークなどの典型的な深層学習モデルに比べると，統計的学習理論の観点からの理論解析はなされていない．上記のモデルでは，層（深層モデルの計算の基本単位）を増やし，層間に非線形の活性化関数を挟むことで表現能力や汎化精度が向上することが理論的・経験的に示されている．一方，GNNでは，様々なタスクにおいて多層にしても予測精度が向上しない実験結果が報告されている．Liらは，GNNは層数を増やすとOversmoothingと呼ばれる現象を起こすことを実験的に示した [2]．これは，グラフの頂点上の特徴ベクトルが互いに類似したものとなる現象で，これが精度劣化の一因である可能性が示唆されている （本研究では分類，すなわち，グラフを一つ固定し，グラフ上の頂点の性質を予測する問題を考える．論文を頂点，引用・被引用関係を枝とする引用ネットワークでの論文カテゴリ推定の問題は頂点分類問題の一例である）．いくつかの研究において，Oversmoothing現象を説明する理論は存在したが，講演者の知る限り，扱うモデルは線形GNN，すなわち活性化関数を持たないGNNに限られていた．本研究では，適当な条件のもとで，ReLUを活性化関数に持つ非線形GNNにおいてもOversmoothingを起こすことを示した．さらに，Oversmoothingを回避するための重みの正則化方法を提案し，引用ネットワークでの頂点分類問題においてその有用性を示した．

時間の余裕があれば，現在進めているOversmoothingを起こさないGNNの検討状況についても報告したい．

[1] Kenta Oono and Taiji Suzuki. Graph Neural Networks Exponentially Lose Expressive Power for Node Classification. arXiv preprint arXiv:1905.10947, 2019. [2] Qimai Li, Zhichao Han, and Xiao-Ming Wu. Deeper insights into graph convolutional networks for semi-supervised learning. In Thirty-Second AAAI Conference on Artificial Intelligence, 2018.