深度學(xué)習(xí)之上，圖神經(jīng)網(wǎng)絡(luò)（GNN ）崛起

由于深度學(xué)習(xí)在可推理和可解釋性方面存在比較大的局限性，結(jié)合了圖計算和深度學(xué)習(xí)的圖神經(jīng)網(wǎng)絡(luò)(GNNs)成為近期學(xué)術(shù)界和工業(yè)界研究熱度頗高的新方向之一。業(yè)界普遍認(rèn)為，GNN 恰好可以彌補(bǔ)前面提到的深度學(xué)習(xí)無法解決的兩個缺陷。近一年 GNN 在越來越多應(yīng)用場景上取得了成功，但它也仍面臨著許多挑戰(zhàn)。

螞蟻金服在今年的數(shù)據(jù)挖掘研究領(lǐng)域頂級年會 KDD 2019 上召開了以“圖神經(jīng)網(wǎng)絡(luò)研究及實際應(yīng)用”為主題的研討會。InfoQ 記者有幸采訪到了螞蟻金服人工智能部研究員宋樂，聊聊深度學(xué)習(xí)和 GNN 在大型工業(yè)級場景的應(yīng)用和實踐、目前面臨的難點挑戰(zhàn)，以及未來技術(shù)前進(jìn)的可能方向。

宋樂老師在 KDD2019

GNN已成“AI新貴”

除了傳統(tǒng)的深度學(xué)習(xí)方法，圖神經(jīng)網(wǎng)絡(luò)(GNN)在近兩年也是公認(rèn)的“AI 新貴”。由于圖結(jié)構(gòu)的強(qiáng)大表現(xiàn)力，用機(jī)器學(xué)習(xí) / 深度學(xué)習(xí)方法分析圖的研究越來越受重視。而圖神經(jīng)網(wǎng)絡(luò)(GNN)由于較好的性能和可解釋性，已經(jīng)成為一種廣泛應(yīng)用的圖分析方法，更有不少人將它看作“深度學(xué)習(xí)的新一代技術(shù)”。近一年來，學(xué)界和工業(yè)界陸續(xù)推出了 GNN 的相關(guān)框架和工具，進(jìn)一步促進(jìn)了這一領(lǐng)域的蓬勃發(fā)展。

GNN 提供了圖表征學(xué)習(xí)(Graph representation learning)或圖嵌入技術(shù)(Graph embedding)的框架，可以用于各種圖數(shù)據(jù)上的監(jiān)督，半監(jiān)督及強(qiáng)化學(xué)習(xí)。GNN 將圖上的元素，如節(jié)點，連接或者子圖表達(dá)成為一個向量，而不同元素所對應(yīng)的向量之間的距離保存了它們在原圖上的相似關(guān)系。這樣將拓?fù)潢P(guān)系表達(dá)為特征空間中的向量的做法，本質(zhì)上是一種基于拓?fù)湫畔⒌奶卣魈崛∵^程，其結(jié)果是溝通了傳統(tǒng)的圖分析和各種傳統(tǒng)機(jī)器學(xué)習(xí)或數(shù)據(jù)挖掘方法，在推薦系統(tǒng)、知識圖譜構(gòu)建及推理等領(lǐng)域都有許多應(yīng)用。比如說，可以通過引入了圖卷積操作構(gòu)造了一個適用于圖數(shù)據(jù)的半監(jiān)督學(xué)習(xí)框架，用于提取更精確的特征表達(dá)或直接進(jìn)行分類操作，并可以結(jié)合圖像分割、視頻理解、交通預(yù)測等許多領(lǐng)域開始探索其應(yīng)用價值。無論對于圖分析還是深度學(xué)習(xí)，GNN 都是一個極有價值的的演化。

GNN 的出現(xiàn)解決了傳統(tǒng)深度學(xué)習(xí)方法難以應(yīng)用到非規(guī)則形態(tài)數(shù)據(jù)上的痛點，大大擴(kuò)展了神經(jīng)網(wǎng)絡(luò)的應(yīng)用空間，并在一些問題上改進(jìn)了模型的可解釋性。對于許多建立在非規(guī)則形態(tài)數(shù)據(jù)基礎(chǔ)之上的業(yè)務(wù)場景，諸如推薦、消歧、反欺詐等，GNN 都有極大的應(yīng)用潛力。以螞蟻金服為例，GNN 已經(jīng)廣泛部署于普惠金融業(yè)務(wù)的推薦和風(fēng)控中。

宋樂還列舉了兩個比較有趣的新應(yīng)用：

一個是 GNN 在知識圖譜上推理的應(yīng)用。知識圖譜是螞蟻金服非常重要的研發(fā)方向之一，借助知識圖譜可以把中國所有注冊企業(yè)都聯(lián)系起來，圖譜里每個節(jié)點可能就是一個注冊的商家，這個節(jié)點數(shù)量可能會達(dá)到幾千萬。這些商家之間可能有一些是供應(yīng)商關(guān)系，有一些是同行競爭對手的關(guān)系，有一些可能是存在法律訴訟的關(guān)系。如果想根據(jù)這個圖來做一些預(yù)測和推測，用于普惠金融業(yè)務(wù)的推薦和風(fēng)控，就可以借助 GNN。

另一個是動態(tài)圖的應(yīng)用。本質(zhì)上，所有金融交易問題都是動態(tài)的，誰在什么時間買了什么東西，都是有一個對應(yīng)的時間戳的，隨著新的交易發(fā)生、新的賬號產(chǎn)生，整個圖應(yīng)該是在不斷變化的。如何把時間和圖的結(jié)構(gòu)一起考慮進(jìn)去做表征，這個也是比較有挑戰(zhàn)性的前沿問題。目前螞蟻金服正在貸款準(zhǔn)入模型中嘗試應(yīng)用動態(tài)圖。

除此之外，據(jù)宋樂保守估計，GNN 目前至少已在阿里巴巴數(shù)十個業(yè)務(wù)場景落地。不過這只是 GNN 發(fā)展樂觀的一面。

從業(yè)界整體落地情況來看，GNN 仍然處于發(fā)展初期。從 2018 年 10 月，由 DeepMind、谷歌大腦、麻省理工等近 30 名學(xué)者聯(lián)名在 ArXiv 上傳的論文《Relational inductive biases, deep learning, and graph networks》將 GNN 相關(guān)工作推到一個新的高度以來，GNN 火熱發(fā)展還未到一年，很多本質(zhì)問題尚未突破。與工業(yè)級深度學(xué)習(xí)應(yīng)用面臨的問題類似，GNN 要真正做到在工業(yè)界大規(guī)模落地，在底層系統(tǒng)架構(gòu)方面仍需要做大量工作。

如何大規(guī)模落地 GNN 仍面臨挑戰(zhàn)

在宋樂看來，目前 GNN 在工業(yè)界大規(guī)模落地面臨的挑戰(zhàn)主要在于大規(guī)模圖網(wǎng)絡(luò)的訓(xùn)練和線上更新預(yù)測兩方面。未來互聯(lián)網(wǎng)公司只要涉及 GNN 相關(guān)應(yīng)用工作，幾乎都逃不開大規(guī)模圖網(wǎng)絡(luò)。

首先，工業(yè)級業(yè)務(wù)場景，尤其是互聯(lián)網(wǎng)公司的業(yè)務(wù)場景，圖網(wǎng)絡(luò)規(guī)模通常都很大，至少包含億級，甚至是十億級、百億級的圖節(jié)點和邊。要計算這么大規(guī)模的圖神經(jīng)網(wǎng)絡(luò)，通常一臺機(jī)器是無法達(dá)到想要的效果的，這時就需要一個專門的分布式圖計算平臺。如果沒有一個平臺能夠支撐 GNN 所需的海量計算，就很難把 GNN 做好。但目前就業(yè)界來說，GNN 平臺的進(jìn)展仍然比較慢。還沒有哪個企業(yè)能夠推出一個足夠好的開源 GNN 平臺，并且能自信地表示可以很好地支持億級節(jié)點的圖網(wǎng)絡(luò)。

在對 GNN 模型進(jìn)行訓(xùn)練時，算法需要與分布式圖存儲平臺進(jìn)行高效交互，這也是非常有挑戰(zhàn)性的一項工作。在模型訓(xùn)練時，算法需要不斷隨機(jī)查詢節(jié)點、節(jié)點的鄰居和鄰居的鄰居，取出數(shù)據(jù)放到內(nèi)存中做深度學(xué)習(xí)模型的前向 Inference 和后向的回傳，這在大規(guī)模圖上其實是很難做好的。對于 GNN 平臺來說，做深度學(xué)習(xí)以及和數(shù)據(jù)庫打交道這兩個環(huán)節(jié)常常是導(dǎo)致速度慢最大的瓶頸。在過去兩年，螞蟻金服在分布式圖存儲這個方向上做了很多努力，目前已經(jīng)開發(fā)出了一個高效的分布式圖存儲平臺，以及可以跟這個圖存儲平臺比較高效地交互的圖訓(xùn)練平臺。從數(shù)據(jù)上看，原來需要幾天時間的億級圖網(wǎng)絡(luò)訓(xùn)練已經(jīng)可以縮短到一個小時以內(nèi)。

大規(guī)模圖神經(jīng)網(wǎng)絡(luò)在線上的預(yù)測也是難點之一。GNN 的 Embedding 并非實時的，以金融交易場景為例，每次出現(xiàn)一筆新的交易，圖網(wǎng)絡(luò)就會多一條邊，圖就會發(fā)生變化，如果想做好實時預(yù)測，就需要用最新的邊根據(jù)這個 GNN 的參數(shù)，算出它的表征來進(jìn)行預(yù)測。但是通常在線上環(huán)境中，要在非常短的響應(yīng)時間內(nèi)構(gòu)一個圖，把 GNN 計算好非常困難，特別是在交易量很大的情況下，通常都存在一定的滯后。如何讓 GNN 能夠在線上高效地直接做這個運(yùn)算，這個挑戰(zhàn)還沒有完全解決，需要和底層的系統(tǒng)架構(gòu)做一些合作。

宋樂坦言，即使沒有 GNN，圖計算本身在工業(yè)界就是一個比較困難的問題。因為圖和圖像、文本有所不同，圖的每個節(jié)點連接的鄰居個數(shù)可能不一樣、節(jié)點類型不一樣、邊的類型不一樣，就制造了很多不規(guī)則的運(yùn)算，每個節(jié)點需要運(yùn)算的程度不一樣。而計算機(jī)特別適合規(guī)則運(yùn)算，卻天生不適合不規(guī)則運(yùn)算，圖的計算就屬于不規(guī)則運(yùn)算，以前傳統(tǒng)的圖算法也有各種各樣的研究，但都不能很好地解決問題，再加上 GNN 引入了深度學(xué)習(xí)這一層，導(dǎo)致復(fù)雜度陡增，難度就更大了。因此，如何在很短的時間內(nèi)得到 GNN 的訓(xùn)練結(jié)果和預(yù)測結(jié)果，都存在很大的挑戰(zhàn)。如果這一問題能夠得到解決，使 GNN 的訓(xùn)練和預(yù)測都做到足夠快，那么算法工程師在建模的時候，就可以很快地嘗試 GNN 的效果以及各種不同網(wǎng)絡(luò)結(jié)構(gòu)下 GNN 的效果，進(jìn)一步修改提高 GNN 的結(jié)果。

不管在學(xué)術(shù)界還是工業(yè)界，目前這都還是一個比較前沿的問題，同時這也是當(dāng)前 GNN 領(lǐng)域的瓶頸之一。雖然 Google、Facebook 等業(yè)內(nèi)大公司都在推動 GNN 平臺的開發(fā)工作，但目前還沒有一個能夠真正做好大規(guī)模分布式圖網(wǎng)絡(luò)計算的主流開源平臺。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。