?作者 |公緒蒙

單位 |北京郵電大學(xué)碩士生

來(lái)源 |北郵 GAMMA Lab

簡(jiǎn)介

對(duì)比學(xué)習(xí)（Contrastive Learning）是一種無(wú)監(jiān)督的表示學(xué)習(xí)方法互信息，其通過(guò)數(shù)據(jù)增強(qiáng)和負(fù)采樣獲得正負(fù)樣本互信息，并使用目標(biāo)函數(shù)增大正樣本對(duì)之間的相似度，減小負(fù)樣本對(duì)間的相似度，以獲得具有判別性的表征。對(duì)比學(xué)習(xí)常用的損失函數(shù) InfoNCE 如下：

對(duì)比學(xué)習(xí)最早在 CV 中取得了廣泛應(yīng)用，通過(guò)對(duì)目標(biāo)樣本（圖像）進(jìn)行數(shù)據(jù)增強(qiáng)(如，旋轉(zhuǎn)，裁剪，加入噪聲等)以獲得樣本的不同 views，以該圖像的不同 views 作為正樣本，其依賴于一種先驗(yàn)知識(shí)，即數(shù)據(jù)增強(qiáng)不會(huì)影響圖像的標(biāo)簽，舉例來(lái)說(shuō)，對(duì)于某個(gè)圖像來(lái)說(shuō)（比如一個(gè)狗狗的圖片），無(wú)論對(duì)其進(jìn)行旋轉(zhuǎn)，裁剪，加入噪聲等各種操作，該圖像在人看來(lái)還是一只狗，而不會(huì)變成汽車，所以數(shù)據(jù)增強(qiáng)后的圖像還可以作為原樣本的正樣本。

然而，在 Graph 數(shù)據(jù)中，常見(jiàn)的數(shù)據(jù)增強(qiáng)方式（如：隨機(jī)刪除/添加邊或節(jié)點(diǎn)）是否能保證該 Graph 的標(biāo)簽不變呢，舉個(gè)簡(jiǎn)單的例子：化學(xué)中某些有機(jī)物分子可以由原子和化學(xué)鍵組成的 Graph 進(jìn)行表示，而同分異構(gòu)體之間具有相同的節(jié)點(diǎn)，不同的邊，類似的結(jié)構(gòu)，可以看做是對(duì)方進(jìn)行刪除/添加邊得到的增強(qiáng)圖，但同分異構(gòu)體卻通常有著不同的功能和性質(zhì)（標(biāo)簽）。

也就是說(shuō)，在圖對(duì)比學(xué)習(xí)（Graph Contrastive Learning）中，數(shù)據(jù)增強(qiáng)給原樣本中帶來(lái)的噪聲很有可能改變圖的標(biāo)簽，使得學(xué)到的圖表征效果變差。

在本篇工作中，我們認(rèn)為，在 GCL 中傳統(tǒng)的 Graph Data Augmentation 和固定的視圖編碼器架構(gòu)不足以產(chǎn)生具有足夠差異性的視圖，所以我們提出了圖模型增強(qiáng)的概念，圖模型增強(qiáng)可以生成更加diverse的視圖，并提出了三種不同的模型增強(qiáng)策略，分別是非對(duì)稱，隨機(jī)和洗牌策略，并基于這三種策略，提出了一種新的圖對(duì)比學(xué)習(xí)模型 MA-GCL（Model Augmentation Graph Contrastive Learning）。

論文標(biāo)題：

MA-GCL: Model Augmentation Tricks for Graph Contrastive Learning

論文鏈接：

https://arxiv.org/pdf/2212.07035.pdf

方法介紹

2.1 預(yù)備知識(shí)

在本篇工作中，我們使用 GNN 作為 view encoder，并且使用一種新的方式來(lái)形式化 GNN，GNN 可以由傳播和轉(zhuǎn)換兩種算子組成，其中傳播算子 g 是將圖濾波器 F 和節(jié)點(diǎn)特征 Z 進(jìn)行運(yùn)算得到互信息；而轉(zhuǎn)換算子 h 則是將節(jié)點(diǎn)特征 Z 和參數(shù)矩陣 W 進(jìn)行運(yùn)算并通過(guò)非線性轉(zhuǎn)換得到。

以下公式則是利用 h 算子和 g 算子形式化了 GCN 和 SGC 兩種常用的 GNN encoders:

2.2 非對(duì)稱策略

該策略的動(dòng)機(jī)可以由以上韋恩圖所展示，紅色的圈為與下游任務(wù)相關(guān)的信息，藍(lán)色和綠色的圈則是對(duì)比學(xué)習(xí)生成的兩個(gè)視圖所包含的信息，當(dāng)我們采用固定的對(duì)稱的視圖編碼器時(shí)，如 a 所示，在 InfoNCE loss 的作用下兩個(gè)視圖的互信息，也就是區(qū)域 C+D 會(huì)被最大化，但是和任務(wù)相關(guān)的信息只有區(qū)域 D，C 也會(huì)變大是我們不想要的，而當(dāng)我們采用非對(duì)稱的視圖架構(gòu)時(shí)，如 b 所示區(qū)域 C 也就是和任務(wù)無(wú)關(guān)的噪聲會(huì)被減少。

該策略的核心思想是兩個(gè)視圖編碼器之間具有共享的模型參數(shù)，但是傳播層數(shù)（g 算子數(shù)量）不同時(shí)，可以過(guò)濾高頻噪聲。當(dāng)采用 SGC 作為視圖編碼器，并且假設(shè)節(jié)點(diǎn)特征為獨(dú)熱向量時(shí)，InfoNCE 損失函數(shù)可以重寫(xiě)為以下最優(yōu)化問(wèn)題的形式：

隨后我們證明了定理 1（具體證明可見(jiàn)論文附錄），通過(guò)定理 1，可以得到一個(gè)結(jié)論就是當(dāng)采用非對(duì)稱的視圖編碼器時(shí)，最優(yōu)化問(wèn)題的最優(yōu)解 W 只由圖濾波矩陣和其特征值決定，和 GCL 引入的數(shù)據(jù)增強(qiáng)無(wú)關(guān)。相反，如果采用對(duì)稱的視圖編碼器結(jié)構(gòu)，可以證明最優(yōu)解不但和濾波矩陣有關(guān)，還和引入的數(shù)據(jù)增強(qiáng)有關(guān)，就會(huì)把數(shù)據(jù)增強(qiáng)中可能對(duì)圖性質(zhì)造成破壞的噪聲引入到圖表征中。

2.3 隨機(jī)策略

在該策略中，我們?cè)诿總€(gè)訓(xùn)練輪次中隨機(jī)決定視圖編碼器中傳播算子的數(shù)量，在圖數(shù)據(jù)中，每一個(gè)樣本通過(guò)一個(gè)有 K 個(gè)傳播層數(shù)的 GNN 可以看做某個(gè)節(jié)點(diǎn)和他的 K 姐鄰居組成的節(jié)點(diǎn)樹(shù)，通過(guò)隨機(jī)策略在每次訓(xùn)練過(guò)程中隨機(jī) GNN 的傳播層數(shù)可以看做在每個(gè)輪次中隨機(jī)選擇不同高度的節(jié)點(diǎn)樹(shù)作為樣本，能夠變相的豐富訓(xùn)練樣本。

2.4 洗牌策略

洗牌策略則是在訓(xùn)練過(guò)程中，隨機(jī)打亂傳播算子和轉(zhuǎn)換算子的排列。當(dāng)采用的視圖編碼器中不含有非線性激活函數(shù)時(shí)，進(jìn)行洗牌后的兩個(gè)視圖編碼器不變，我們證明了洗牌是比傳統(tǒng)的圖數(shù)據(jù)增強(qiáng)更安全的增強(qiáng)方式。

2.5 MA-GCL

基于三種模型增強(qiáng)策略，我們提出了一種新的圖對(duì)比學(xué)習(xí)模型 MA-GCL，其偽代碼如下：

實(shí)驗(yàn)

3.1 數(shù)據(jù)集

我們使用的數(shù)據(jù)集如表所示，在節(jié)點(diǎn)分類任務(wù)的六個(gè)數(shù)據(jù)集上進(jìn)行試驗(yàn)：

3.2 節(jié)點(diǎn)分類實(shí)驗(yàn)

MA-GCL 在六個(gè)節(jié)點(diǎn)分類數(shù)據(jù)集上的五個(gè)都取得了 SOTA 的性能。

3.3 消融實(shí)驗(yàn)

由消融實(shí)驗(yàn)的結(jié)果可以看出，我們提出的三種模型增強(qiáng)策略都有效果，其中非對(duì)稱策略提升效果最為明顯。

3.4 動(dòng)機(jī)驗(yàn)證實(shí)驗(yàn)

更多閱讀

# 投 稿 通 道#

讓互信息你的文字被更多人看到

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢互信息？ 答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是 最新論文解讀，也可以是 學(xué)術(shù)熱點(diǎn)剖析、 科研心得或 競(jìng)賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。

?? 稿件基本要求：

? 文章確系個(gè)人 原創(chuàng)作品，未曾在公開(kāi)渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請(qǐng)明確標(biāo)注

? 稿件建議以 markdown格式撰寫(xiě)，文中配圖以附件形式發(fā)送，要求圖片清晰，無(wú)版權(quán)問(wèn)題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供 業(yè)內(nèi)具有競(jìng)爭(zhēng)力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

?? 投稿通道：

? 投稿郵箱：hr@paperweekly.site

? 來(lái)稿請(qǐng)備注即時(shí)聯(lián)系方式（微信），以便我們?cè)诟寮x用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（ pwbot02）快速投稿，備注：姓名-投稿

??

現(xiàn)在，在 「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索 「PaperWeekly」

·