免费久久国产&夜夜毛片&亚洲最大无码中文字幕&国产成人无码免费视频之奶水&吴家丽查理三级做爰&国产日本亚欧在线观看

導讀:在 NeurIPS 2020 上,清華大學聯合微眾銀行、微軟研究院以及博世人工智能中心提出了 Graph Random Neural Network (GRAND),一種用于圖半監督學習的新型圖神經網絡框架。在模型架構上,GRAND 提出了一種簡單有效的圖數據增強方法 Random Propagation,用來增強模型魯棒性及減輕過平滑。基于 Random Propagation,GRAND 在優化過程中使用一致性正則(Consistency Regularization)來增強模型的泛化性,即除了優化標簽節點的 cross-entropy loss 之外,還會優化模型在無標簽節點的多次數據增強的預測一致性。GRAND 不僅在理論上有良好的解釋,還在三個公開數據集上超越了 14 種不同的 GNN 模型,取得了 SOTA 的效果。

這項研究被收入為 NeurIPS 2020 的 Oral paper (105/9454)。

論文名稱:GraphRandom Neural Network for Semi-Supervised Learning on Graphs

研究背景

圖是用于建模結構化和關系數據的一種通用的數據結構。在這項工作中,我們重點研究基于圖的半監督學習問題,這個問題的輸入是一個節點帶屬性的無向圖,其中只有一小部分節點有標簽,我們的目的是要根據節點屬性,圖的結構去預測無標簽節點的標簽。近幾年來,解決這個問題一類有效的方法是以圖卷積神經網絡(GCN)[1]為代表的圖神經網絡模型(GNN)。其主要思想是通過一個確定性的特征傳播來聚合鄰居節點的信息,以此來達到對特征降噪的目的。

但是,最近的研究表明,這種傳播過程會帶來一些固有的問題,例如:

1) 過平滑,圖卷積可以看做是一種特殊形式的拉普拉斯平滑,疊加多層之后節點之間的feature就會變得不可區分。

2)欠魯棒,GNN中的特征傳播會使得節點的預測嚴重依賴于特定的鄰居節點,這樣的模型對噪音的容忍度會很差,例如KDD’18的best paper[2]就表明我們甚至可以通過間接攻擊的方式通過改變目標節點鄰居的屬性來達到攻擊目標節點的目的。

3)過擬合,在半監督節點分類的任務中,有標簽的節點很少,而一般GNN僅僅依靠這些少量的監督信息做訓練,這樣訓練出來的模型泛化能力會比較差。

模型介紹

為了解決這些問題,在這個工作中我們提出了圖隨機神經網絡(GRAND),一種簡單有效的圖半監督學習方法。與傳統GNN不同,GRAND采用隨機傳播(Random Propagation)策略。具體來說,我們首先隨機丟棄一些節點的屬性對節點特征做一個隨機擾動,然后對擾動后的節點特征做一個高階傳播。這樣一來,每個節點的特征就會隨機地與其高階鄰居的特征進交互,這種策略會降低節點對某些特定節點的依賴,提升模型的魯棒性。

除此之外,在同質圖中,相鄰的節點往往具有相似的特征及標簽,這樣節點丟棄的信息就可以被其鄰居的信息補償過來。因此這樣形成的節點特征就可以看成是一種針對圖數據的數據增強方法。基于這種傳播方法,我們進而設計了基于一致性正則(consistency regularization)的訓練方法,即每次訓練時進行多次Random Propagation 生成多個不同的節點增強表示,然后將這些增強表示輸入到一個MLP中,除了優化交叉熵損失之外,我們還會去優化MLP模型對多個數據增強產生預測結果的一致性。這種一致性正則損失無需標簽,可以使模型利用充足的無標簽數據,以彌補半監督任務中監督信息少的不足,提升模型的泛化能力,減小過擬合的風險。

圖一

圖二

我們對GRAND進行了理論分析,分析結果表明,這種Random propagation + Consistency Regularization 的訓練方式實際上是在優化模型對節點與其鄰居節點預測置信度之間的一致性。

實驗結果

我們在GNN基準數據集中的實驗結果對GRAND進行了評測,實驗結果顯示GRAND在3個公開數據集中顯著超越了14種不同種類的GNN模型,取得了SOTA的效果。實驗結果(圖三):

圖三

此外我們還對模型泛化性,魯棒性,過平滑等問題進行了分析,實驗結果顯示1)Consistency Regularization 和Random Propagation均能提升模型的泛化能力(圖四);2)GRAND具有更好的對抗魯棒性(圖五);3)GRAND可以減輕過平滑問題(圖六)。

圖四

圖五

圖六