從分歧走向融合：圖神經(jīng)網(wǎng)絡(luò)歷經(jīng)了怎樣的演化之路？

AI領(lǐng)域在近十年的進(jìn)展神速，隨著機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的迭代，語音、圖像、自然語言處理逐漸取得了很大的突破。集結(jié)了這些能力的智能設(shè)備越來越聰明，一些語音設(shè)備與人交流的越來越順暢，自動駕駛、虛擬數(shù)字人等代表著最前沿的AI能力的應(yīng)用也走向了落地。

在AI發(fā)展的過程中，基礎(chǔ)的理論研究階段，經(jīng)常使用的是一些語音、圖像、文本都很簡單的序列或者網(wǎng)格數(shù)據(jù)，對于深度學(xué)習(xí)來說，這些簡單的結(jié)構(gòu)化數(shù)據(jù)很好處理。然而在AI應(yīng)用的落地實(shí)踐與產(chǎn)業(yè)應(yīng)用中，非結(jié)構(gòu)化的數(shù)據(jù)不少，從數(shù)據(jù)的角度來看，相比于圖像和文本, 非結(jié)構(gòu)的圖類型數(shù)據(jù)分布更加廣泛, 圖結(jié)構(gòu)也更加復(fù)雜。例如社交網(wǎng)絡(luò)、知識圖譜、復(fù)雜的文件系統(tǒng)等。

相比于簡單的文本和圖像，這種網(wǎng)絡(luò)類型的非結(jié)構(gòu)化數(shù)據(jù)處理非常復(fù)雜：圖的大小是任意的，其拓?fù)浣Y(jié)構(gòu)復(fù)雜，沒有像圖像一樣的空間局部性；圖經(jīng)常是動態(tài)變化的，包含著多模態(tài)的特征，沒有可以參考的節(jié)點(diǎn)與順序。

那么對于這類產(chǎn)業(yè)實(shí)際的問題，我們該如何建模？能否將深度學(xué)習(xí)進(jìn)行擴(kuò)展并建模該類非歐數(shù)據(jù)呢？這些問題促使了圖神經(jīng)網(wǎng)絡(luò)的出現(xiàn)與發(fā)展。

十七年的萬水千山

圖神經(jīng)網(wǎng)絡(luò) (GNN)的概念最早是Marco Gori等人在2005年提出的，發(fā)表在論文《The Graph Neural Network Model》。

在此之前，處理圖數(shù)據(jù)的方法是在數(shù)據(jù)的預(yù)處理階段將圖轉(zhuǎn)換為用一組向量表示。這種處理方法對于一些圖豐富的數(shù)據(jù)來說弊端明顯，會丟失很多結(jié)構(gòu)信息，得到的結(jié)果嚴(yán)重依賴于對圖的預(yù)處理。GNN的提出能夠?qū)?shù)據(jù)處理的過程直接架構(gòu)在圖數(shù)據(jù)之上，不僅是拓展了已有的神經(jīng)網(wǎng)絡(luò)模型，也可以提高圖數(shù)據(jù)處理的精度。

2009年Franco Scarselli博士在其論文中定義了圖神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)，Scarselli 和 Micheli 等人繼承和發(fā)展了 GNN 算法，并做了一定程度的改進(jìn)。早期階段的 GNN 主要是以 RNN 為主體框架，通過簡單的特征映射和節(jié)點(diǎn)聚集為每個(gè)節(jié)點(diǎn)生成向量式表達(dá)，不能很好地應(yīng)對現(xiàn)實(shí)中復(fù)雜多變的圖數(shù)據(jù)。

針對此情況，YannLeCun的學(xué)生Bruna等人提出將 CNN 應(yīng)用到圖上，通過對卷積算子巧妙的轉(zhuǎn)換，提出了基于頻域和基于空域的圖卷積網(wǎng)絡(luò)（GCN），并衍生了許多變體。

GCN的提出可謂是圖神經(jīng)網(wǎng)絡(luò)的“開山之作”，它首次將圖像處理中的卷積操作簡單的用到圖結(jié)構(gòu)數(shù)據(jù)處理中來。降低了圖神經(jīng)網(wǎng)絡(luò)模型計(jì)算的復(fù)雜度，此前在圖網(wǎng)絡(luò)計(jì)算過程中的拉普拉斯矩陣的計(jì)算從此成為過去式。

不過這個(gè)階段的圖卷積網(wǎng)絡(luò)還有明顯的弊端：擴(kuò)展性比較差，在實(shí)際的落地中，需要處理的圖都是工程領(lǐng)域中的大圖，GCN并不能處理大圖。再者就是GCN在各種實(shí)驗(yàn)中，被驗(yàn)證使用2層卷積GCN效果最好，這也意味著其只能局限于淺層的應(yīng)用，如果深入使用其他殘差連接等trick方式，只能勉強(qiáng)保存性能不下降，并不能提高應(yīng)用計(jì)算的性能。

為了解決GCN的兩個(gè)缺點(diǎn)問題，GraphSAGE模型被提了出來。這個(gè)模型是2017年斯坦福大學(xué)提出的一種基于圖的inductive（歸納）學(xué)習(xí)方法。GraphSAGE可以利用采樣機(jī)制，很好地解決GCN必須要知道全部圖的信息問題，克服了GCN訓(xùn)練時(shí)內(nèi)存的限制。模型的參數(shù)數(shù)量與圖的節(jié)點(diǎn)個(gè)數(shù)無關(guān)，可以處理更大的圖，并且即使對于未知的新節(jié)點(diǎn)，也能得到其表征。

當(dāng)然GraphSAGE模型也有一些缺點(diǎn)，GraphSAGE的采樣沒有考慮到不同鄰居節(jié)點(diǎn)的重要性不同，而且聚合計(jì)算的時(shí)候鄰居節(jié)點(diǎn)的重要性和當(dāng)前節(jié)點(diǎn)也是不同的。這也導(dǎo)致GraphSAGE在處理一些數(shù)據(jù)權(quán)重差異較大的圖中，存在偏頗和局限。

圖注意力網(wǎng)絡(luò)（GAT）隨之誕生，專門解決GNN聚合鄰居節(jié)點(diǎn)過程中不同的鄰居節(jié)點(diǎn)權(quán)重不同的問題。圖注意力網(wǎng)絡(luò)借鑒了Transformer模型中的注意力機(jī)制，在計(jì)算圖中會根據(jù)鄰居節(jié)點(diǎn)特征的不同來為其分配不同的權(quán)值。GAT訓(xùn)練GCN無需了解整個(gè)圖結(jié)構(gòu)，只需知道每個(gè)節(jié)點(diǎn)的鄰居節(jié)點(diǎn)即可，計(jì)算的速度快，可以在不同的節(jié)點(diǎn)上進(jìn)行并行計(jì)算也可以對未見過的圖結(jié)構(gòu)進(jìn)行處理，既能處理有監(jiān)督任務(wù)也能處理無監(jiān)督任務(wù)。

在圖神經(jīng)網(wǎng)絡(luò)發(fā)展的過程中，為了解決圖網(wǎng)絡(luò)計(jì)算過程中的精度與拓展問題，一代又一代的新模型被不斷提出。在提出后的十幾年里被不斷擴(kuò)展，先后發(fā)展出了圖卷積網(wǎng)絡(luò)、 圖注意力網(wǎng)絡(luò)、圖自編碼器、圖生成網(wǎng)絡(luò)和圖時(shí)空網(wǎng)絡(luò)等多個(gè)子領(lǐng)域。

在這其中，圖卷積網(wǎng)絡(luò)GCN、GraphSAGE、圖注意力網(wǎng)絡(luò)GAT可謂是圖神經(jīng)網(wǎng)絡(luò)發(fā)展脈絡(luò)過程中的重要經(jīng)典，也是發(fā)展過程中的重要節(jié)點(diǎn)。圖神經(jīng)網(wǎng)絡(luò)衍化生成的各類模型，在處理非結(jié)構(gòu)化數(shù)據(jù)時(shí)的出色能力，使其在網(wǎng)絡(luò)數(shù)據(jù)分析、推薦系統(tǒng)、物理建模、自然語言處理和圖上的組合優(yōu)化問題方面都取得了新的突破。

產(chǎn)業(yè)多領(lǐng)域的“開花結(jié)果”

在圖神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程中，前文提及過其衍生的五個(gè)子領(lǐng)域，在這五個(gè)子方向中，近幾年最火熱的方向可謂是圖卷積神經(jīng)網(wǎng)絡(luò)（GCN）與圖注意力網(wǎng)絡(luò)（GAT）的發(fā)展了。

GCN的起勢得益于多層神經(jīng)網(wǎng)絡(luò)中卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展。2015年微軟研究院152層的ResNet的聲名鵲噪，神經(jīng)網(wǎng)絡(luò)的“深度”首次突破了100層、最大的神經(jīng)網(wǎng)絡(luò)甚至超過了1000層。極大的消除了深度過大的神經(jīng)網(wǎng)絡(luò)訓(xùn)練困難問題，驗(yàn)證了其在堆疊多層上訓(xùn)練的有效性，所以近幾年圖卷積神經(jīng)網(wǎng)絡(luò)也順勢成為研究熱點(diǎn)。

GCN在圖像分類、目標(biāo)檢測、語義分割、視覺問答等領(lǐng)域的應(yīng)用，已被陸續(xù)發(fā)表在CVPR、ICCV、ECCV、NeurIPS等計(jì)算機(jī)視覺與神經(jīng)網(wǎng)絡(luò)的頂級會議中，成為各大計(jì)算機(jī)領(lǐng)域頂會常被刷到的“熟臉”。

在應(yīng)用實(shí)踐方面，比如在生物醫(yī)療領(lǐng)域，從藥物分子的研發(fā)到蛋白質(zhì)分子結(jié)構(gòu)預(yù)測，從視覺推理到開放性的閱讀理解問題，從自動駕駛系統(tǒng)感知層中的3D點(diǎn)云數(shù)據(jù)學(xué)習(xí)到交通流量的預(yù)測等，都可以看到圖神經(jīng)網(wǎng)絡(luò)廣闊的應(yīng)用前景。

在音影娛樂領(lǐng)域，以我們熟悉的音樂平臺網(wǎng)易云為例，不同于一般的聊天文本或圖片，音樂的數(shù)據(jù)為各類跨域數(shù)據(jù)，維度非常多。再疊加上巨量的用戶應(yīng)用，傳統(tǒng)的機(jī)器學(xué)習(xí)方法訓(xùn)練效率大受限制，變得十分低效。

而圖神經(jīng)網(wǎng)絡(luò)技術(shù)的約束性較小，可以把每個(gè)用戶當(dāng)做點(diǎn)，用戶的標(biāo)簽作為邊，在此基礎(chǔ)上建模分析，能更高效地表征、篩選某一類用戶。網(wǎng)易云運(yùn)用百度飛槳的PGL圖神經(jīng)網(wǎng)絡(luò)能力，挖掘用戶的特征、歌曲的特征、用戶對歌曲的行為特征，實(shí)現(xiàn)精準(zhǔn)的音樂推薦。百度飛槳的PGL圖神經(jīng)網(wǎng)絡(luò)可以支持網(wǎng)易音樂超大規(guī)模數(shù)據(jù)的極低成本全圖存儲、靈活子圖檢索、高效圖學(xué)習(xí)等，能夠自如的處理網(wǎng)易百億級別的大規(guī)模數(shù)據(jù)。

在交通領(lǐng)域，滴滴出行研究了一種基于時(shí)空多圖卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)約車需求量預(yù)測模型。通過分析區(qū)域之間復(fù)雜的時(shí)空依賴關(guān)系，對網(wǎng)約車需求量進(jìn)行準(zhǔn)確預(yù)測，指導(dǎo)車輛的調(diào)度，提高車輛的利用率，減少等待時(shí)間，并在一定程度上緩解了交通的擁堵。

事實(shí)上，基于超大規(guī)模復(fù)雜數(shù)據(jù)的用戶與內(nèi)容理解是許多互聯(lián)網(wǎng)內(nèi)容企業(yè)所面臨的共同課題。而圖神經(jīng)網(wǎng)絡(luò)已經(jīng)成為目前互聯(lián)網(wǎng)企業(yè)高效表征用戶與內(nèi)容結(jié)構(gòu)的關(guān)鍵技術(shù)。圖神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛應(yīng)用在社交網(wǎng)絡(luò)、推薦系統(tǒng)、科科學(xué)研究、化學(xué)分子預(yù)測、知識圖譜等領(lǐng)域。

走向“多圖”融合

在圖神經(jīng)網(wǎng)絡(luò)的發(fā)展過程中，總結(jié)來說最終演化出了五個(gè)子領(lǐng)域：圖卷積網(wǎng)絡(luò)、圖自編碼器、圖生成網(wǎng)絡(luò)、圖循環(huán)網(wǎng)絡(luò)和圖注意力網(wǎng)絡(luò)。這些子領(lǐng)域的發(fā)展也代表著著圖神經(jīng)網(wǎng)絡(luò)的差異化的演繹方向。

圖卷積網(wǎng)絡(luò)、圖注意力網(wǎng)絡(luò)在前文都提及過，圖循環(huán)網(wǎng)絡(luò)是最早出現(xiàn)的GNN網(wǎng)絡(luò)模型，通常將圖數(shù)據(jù)轉(zhuǎn)換為序列，在訓(xùn)練的過程中序列會不斷地遞歸演進(jìn)和變化。圖生成網(wǎng)絡(luò)是生成圖數(shù)據(jù)的GNN，在使用一定的規(guī)則對節(jié)點(diǎn)和邊進(jìn)行重新組合,最終生成具有特定屬性和要求的目標(biāo)圖，在建模生成圖的科學(xué)研究、生物工程等領(lǐng)域應(yīng)用廣泛。

每種不同的圖神經(jīng)網(wǎng)絡(luò)子領(lǐng)域發(fā)展都有自己對圖結(jié)構(gòu)數(shù)據(jù)處理的一套體系,其中的適用范圍有差別，但它們之間也并不是相互孤立和排斥。圖自編碼器中包含著圖卷積層,圖注意力網(wǎng)絡(luò)也大多以其他圖神經(jīng)網(wǎng)絡(luò)框架為基礎(chǔ)。目前比較主流的融合方式是圖卷積神經(jīng)網(wǎng)絡(luò)與其他GNN子領(lǐng)域的結(jié)合比較多。在圖神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中,未來更需要解決復(fù)雜的工程問題，這也需要多圖的融合：根據(jù)具體圖的分布和特征信息,以及任務(wù)的需求,選擇組合合適的圖神經(jīng)網(wǎng)絡(luò),來更加有效地學(xué)習(xí)圖結(jié)構(gòu)數(shù)據(jù)。

圖神經(jīng)網(wǎng)絡(luò)的核心在于規(guī)范化的表示圖結(jié)構(gòu)數(shù)據(jù)與傳遞層內(nèi)或?qū)娱g數(shù)據(jù)信息。經(jīng)過十幾年的不斷發(fā)展, 通過各行業(yè)內(nèi)產(chǎn)業(yè)落地的應(yīng)用以及實(shí)驗(yàn)室中理論的不斷迭代，GNN 在理論上和實(shí)踐上都被證實(shí)是對圖結(jié)構(gòu)數(shù)據(jù)處理的一種有效方法和框架。不過雖然圖神經(jīng)網(wǎng)絡(luò)在實(shí)際應(yīng)用中取得了不錯(cuò)的成績，但也存在著一些需要完善的地方，這也是圖神經(jīng)網(wǎng)絡(luò)未來可能的發(fā)展方向。

1.網(wǎng)絡(luò)深度的擴(kuò)展。在大規(guī)模數(shù)據(jù)集的不斷增多發(fā)展中,圖節(jié)點(diǎn)之間的邊連接數(shù)量隨之增多，這也極大增加了訓(xùn)練過程中的計(jì)算復(fù)雜度,可能導(dǎo)致過擬合的現(xiàn)象發(fā)生。如果加深網(wǎng)絡(luò)層數(shù),就必須限制每層節(jié)點(diǎn)數(shù)量。但這也會帶來新的問題：網(wǎng)絡(luò)層數(shù)的增加會使得特征聚集的量變少,導(dǎo)致節(jié)點(diǎn)之間信息傳播受阻。這一矛盾性問題是未來研究的重點(diǎn)之一。

2.圖數(shù)據(jù)動態(tài)性的處理能力欠缺?，F(xiàn)有的 GNN 大多處理的是靜態(tài)圖，但在實(shí)際的工程應(yīng)用中，數(shù)據(jù)的增加和改變是常態(tài),在這些任務(wù)處理中,數(shù)據(jù)圖的動態(tài)變化是不能忽視的。如何對圖的動態(tài)性進(jìn)行有效的適應(yīng)是未來的研究方向之一。

3.多任務(wù)需求中，GNN能力融合性差。在實(shí)際的圖處理任務(wù)中，多數(shù)的任務(wù)都比較復(fù)雜，抽象出的圖結(jié)構(gòu)多域多模態(tài)，而GNN的能力范圍大多數(shù)的情況下只能處理其中的某一類型。復(fù)雜的多網(wǎng)絡(luò)融合問題，GNN并不能處理。目前比較主流的多網(wǎng)絡(luò)融合方式更多的是GCN與其他GNN算法相結(jié)合。

我們知道AI的關(guān)鍵能力就是識別與學(xué)習(xí)，在日新月異的數(shù)字技術(shù)發(fā)展中，圖神經(jīng)網(wǎng)絡(luò)的發(fā)展在理論和實(shí)踐中都證明了對于深度學(xué)習(xí)能力的補(bǔ)充。隨著圖數(shù)據(jù)的規(guī)模越來越大。如果圖神經(jīng)網(wǎng)絡(luò)可以在深度學(xué)習(xí)的黑箱中既能處理大規(guī)模的圖數(shù)據(jù)，又能表達(dá)出機(jī)器思考的邏輯因果，那么這對于AI的研究來說，就是極其重要的突破。說不定我們最期待的機(jī)器走向通用化強(qiáng)人工智能可能會從圖神經(jīng)網(wǎng)絡(luò)開始。

不過這一切也是一種理想化的設(shè)定，圖神經(jīng)網(wǎng)絡(luò)的發(fā)展雖然取得了一些成績，但離我們觸達(dá)通用化的強(qiáng)人工智能路仍道阻且長，技術(shù)的發(fā)展從理論到時(shí)間需要AI思維的打磨，產(chǎn)業(yè)的點(diǎn)點(diǎn)滲透與適應(yīng)，這些都需要時(shí)間的灌溉才能開花結(jié)果。我們就期待著改變世界的超強(qiáng)大腦們帶領(lǐng)我們普羅大眾們盡快進(jìn)入這個(gè)AI新世界。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。