AlphaGo Zero監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)：當(dāng)中的利與弊

本文系網(wǎng)易智能工作室（公眾號(hào)smartman 163）出品。聚焦AI，讀懂下一個(gè)大時(shí)代！

【網(wǎng)易科技訊 10月24日消息】2016年，作為世界上最好的圍棋選手之一，李世石在首爾的比賽中，以四比一的成績(jī)輸給了AlphaGo。無(wú)論是在圍棋歷史上，還是在人工智能（AI）的歷史上，這都是一件大事。圍棋在中國(guó)、韓國(guó)和日本的文化中具有的地位就像西方文化中的象棋一樣重要。

在擊敗李世石后，AlphaGo在網(wǎng)上的一系列匿名游戲中擊敗了數(shù)十名知名人類選手，隨后在5月重新出現(xiàn)，應(yīng)對(duì)來(lái)自中國(guó)烏鎮(zhèn)圍棋選手的柯潔。但是柯先生的表現(xiàn)并不比李先生的好，最終以3-0的比分輸給了計(jì)算機(jī)。

對(duì)于人工智能研究人員來(lái)說(shuō)，圍棋同樣是被尊崇的。國(guó)際象棋在1997年出現(xiàn)在計(jì)算機(jī)上，Garry Kasparov與IBM的一臺(tái)名為深藍(lán)的計(jì)算機(jī)進(jìn)行對(duì)抗，最后輸?shù)袅吮荣?。但是，在李世石失敗之前，圍棋的?fù)雜性讓其很難在機(jī)器上表現(xiàn)。AlphaGo的勝利十分引人，它充分展示了一種名為“機(jī)器學(xué)習(xí)”的人工智能力量，目標(biāo)是讓計(jì)算機(jī)教會(huì)自己一些復(fù)雜的任務(wù)。

AlphaGo通過(guò)研究人類專家棋手之間的數(shù)千場(chǎng)對(duì)抗，進(jìn)而從這些游戲中學(xué)習(xí)規(guī)則和策略，然后在數(shù)百萬(wàn)場(chǎng)比賽中不斷改進(jìn)，從而學(xué)會(huì)圍棋。這足以讓它比任何人類都更強(qiáng)大。但是AlphaGo的公司，DeepMind的研究人員相信，他們可以改進(jìn)這一技術(shù)。在剛剛發(fā)表在《自然》雜志上的一篇論文中，他們公布了最新版本的“AlphaGo Zero”。它在游戲中表現(xiàn)得更好，學(xué)得更快，需要更少的計(jì)算硬件便可以做得好。不過(guò)，最重要的是，與原版不同的是，AlphaGo Zero在沒(méi)有向人類專家求助的情況下，成功地自學(xué)了這款游戲。

這一技術(shù)立刻吸引了很多關(guān)注。像很多游戲一樣，學(xué)習(xí)圍棋雖然容易，卻很難玩好。兩名持黑子與白子選手輪流在一個(gè)由19條垂直線和19條水平線組成的棋盤(pán)交叉處放置棋子。目標(biāo)是占領(lǐng)比對(duì)手更多的領(lǐng)土。被對(duì)手包圍的棋子將從棋盤(pán)上移除。玩家繼續(xù)前進(jìn)，直到雙方都不愿繼續(xù)。然后，每個(gè)人都將他的棋子數(shù)目加到所環(huán)繞空網(wǎng)格的交叉點(diǎn)上。最后，數(shù)量多的將成為贏家。

困難來(lái)自于多種可能的走法。19x19的棋盤(pán)上有361個(gè)不同的地方，黑色的一方可以最先放置棋子。隨后，白子有360種可能的走法。在棋盤(pán)上的走法總數(shù)有10170種，這個(gè)數(shù)字實(shí)在是太大了，因此無(wú)法進(jìn)行任何物理類比（例如，可觀測(cè)宇宙中大約有1080個(gè)原子）。

而人類專家則致力于在更高的層面上去理解這個(gè)游戲。圍棋規(guī)則簡(jiǎn)單卻會(huì)涌現(xiàn)出大量不同情況。玩家會(huì)談?wù)撝T如“眼睛”和“梯子”之類的棋局，以及諸如“威脅”和“生與死”之類的概念。但是，盡管人類棋手理解這些概念，但用一種超文字的方式解釋計(jì)算機(jī)程序要困難得多。相反，最初的Alpha Go研究了數(shù)千個(gè)人類游戲的例子，這個(gè)過(guò)程被稱為“監(jiān)督學(xué)習(xí)”。由于人類的游戲反映了人類對(duì)這類概念的理解，一個(gè)接觸到棋局足夠多的計(jì)算機(jī)也能理解這些概念。一旦AlphaGo在人類教師的幫助下，熟練掌握了戰(zhàn)術(shù)和策略，便克服了重重障礙，開(kāi)始參加到百萬(wàn)場(chǎng)無(wú)人監(jiān)督的訓(xùn)練游戲，每一場(chǎng)比賽都提升了它的技巧。

受監(jiān)督的學(xué)習(xí)比圍棋更有用。這是最近人工智能領(lǐng)域取得進(jìn)步背后的基本理念，它幫助計(jì)算機(jī)學(xué)會(huì)做一些事情，比如識(shí)別照片中的人臉，可靠地識(shí)別人類語(yǔ)音，有效地過(guò)濾電子郵件中的垃圾郵件。但是，正如Deepmind老板Demis Hassabis所言，監(jiān)督學(xué)習(xí)是有限度的。它依賴于訓(xùn)練數(shù)據(jù)的可用性，以及向計(jì)算機(jī)提供數(shù)據(jù)，從而向機(jī)器顯示它應(yīng)該做什么。這些數(shù)據(jù)必須經(jīng)過(guò)人類專家的過(guò)濾。例如，面部識(shí)別的訓(xùn)練數(shù)據(jù)由成千上萬(wàn)張圖片組成，有些照片上有人臉，有些則沒(méi)有，每一張照片都需要人為的標(biāo)注。這使得這類數(shù)據(jù)的成本很高，前提是它們是可以獲取到的。而且，正如論文指出的那樣，這里可能會(huì)存在一些更細(xì)微的問(wèn)題。依靠人類專家的指導(dǎo)，可能會(huì)限制人類對(duì)計(jì)算機(jī)能力的限制。

“AlphaGo Zero”的設(shè)計(jì)初衷是為了避免所有這些問(wèn)題，從而完全跳過(guò)“火車車輪”階段。這個(gè)項(xiàng)目的開(kāi)展利用游戲規(guī)則和“獎(jiǎng)勵(lì)功能”，即當(dāng)它贏得比賽便獎(jiǎng)勵(lì)一點(diǎn)，輸?shù)魟t扣除一點(diǎn)。然后不斷進(jìn)行實(shí)驗(yàn)，反復(fù)通過(guò)游戲來(lái)對(duì)抗其他版本的自己，并受限于獎(jiǎng)勵(lì)機(jī)制，即必須盡可能多地贏得獎(jiǎng)勵(lì)，從而使獎(jiǎng)勵(lì)最大化。

這個(gè)項(xiàng)目是從隨機(jī)放置棋子開(kāi)始的，機(jī)器完全不知道自己在做什么。但它取得了快速的進(jìn)步。一天之后，它的棋藝便上升到了高級(jí)專家級(jí)別。兩天之后，它的表現(xiàn)就超過(guò)了2016年擊敗李世石的版本。

DeepMind的研究人員能夠觀察到他們的自我革新，重新發(fā)現(xiàn)人類幾千年來(lái)積累起來(lái)的圍棋知識(shí)。有時(shí)候，它看起來(lái)像人類一樣詭異。經(jīng)過(guò)大約三個(gè)小時(shí)，專注于“捕捉棋子”的訓(xùn)練，這是大多數(shù)人類初學(xué)者也必須經(jīng)歷的階段。在另一些人看來(lái)，這顯然是外星人。例如，“梯子”是一種棋子的排列模式，當(dāng)一個(gè)玩家試圖捕獲一群對(duì)手的棋子時(shí)，他會(huì)在棋盤(pán)上的對(duì)角線上放置。它們是圍棋游戲的常見(jiàn)局面。因?yàn)樘葑佑梢粋€(gè)簡(jiǎn)單的重復(fù)模式組成，人類新手很快就會(huì)學(xué)會(huì)并去推斷它們，對(duì)梯子“搭建”的成功與否進(jìn)行評(píng)估。但AlphaGo Zero——它無(wú)法推斷，而是半隨機(jī)地嘗試新動(dòng)作——這花了比預(yù)期時(shí)間更長(zhǎng)的時(shí)間來(lái)掌握這個(gè)技巧。

然而，自己學(xué)習(xí)而不是依靠人類的暗示，總的來(lái)說(shuō)是一個(gè)很大的進(jìn)步。例如，josek是表述棋盤(pán)邊緣附近發(fā)生的一系列動(dòng)作的特殊序列。（他們的劇本自然讓他們有點(diǎn)像國(guó)際象棋的開(kāi)場(chǎng)。）AlphaGo Zero發(fā)現(xiàn)了josek教給人類棋手的準(zhǔn)則。但它也發(fā)現(xiàn)了一些完全屬于自己的方法，并最終成為了自己的下棋的首選。負(fù)責(zé)AlphaGo項(xiàng)目的David Silver表示，這臺(tái)機(jī)器似乎具有一種明顯非人類的風(fēng)格。

其結(jié)果是一個(gè)不僅是超人的項(xiàng)目，而且是令人難以接受的。圍棋（和國(guó)際象棋，以及其他許多游戲）都可以用一種叫做“Elo評(píng)級(jí)”的東西來(lái)量化，它根據(jù)過(guò)去的表現(xiàn)給出了一個(gè)玩家可以打敗另一個(gè)玩家的概率。一個(gè)球員有50:50的幾率擊敗對(duì)手，但只有25%的幾率比對(duì)手高出200分?？孪壬@勝的支持率為3661。李先生的是3526。在經(jīng)過(guò)40天的訓(xùn)練后，AlphaGo Zero的得分超過(guò)了5,000——這一數(shù)字遠(yuǎn)遠(yuǎn)領(lǐng)先超強(qiáng)選手柯潔先生，同時(shí)暗指包括柯潔在內(nèi)的任何一個(gè)人類選手都沒(méi)有可能打敗它。當(dāng)它與AlphaGo的第一個(gè)擊敗李斯基的版本對(duì)戰(zhàn)時(shí)，它以100比0獲勝。

當(dāng)然，比起圍棋，生活中還有很多別的事情。它的創(chuàng)造者希望，像那些為AlphaGo的不同迭代提供動(dòng)力的算法，理論上可以應(yīng)用于相似的任務(wù)的中。（DeepMind已經(jīng)利用了AlphaGo背后的技術(shù)，幫助谷歌大幅削減其數(shù)據(jù)中心的能耗。）但是，一種無(wú)需他人指導(dǎo)就能學(xué)習(xí)的算法，意味著機(jī)器可以在人們不知道如何解決的問(wèn)題上放手。Hassabis表示，任何可以歸結(jié)為通過(guò)大量可能性進(jìn)行智能搜索的事情，都可以從AlphaGo的方法中受益。他列舉了一些經(jīng)典的棘手問(wèn)題，比如研究蛋白質(zhì)如何折疊成最終的功能形狀，預(yù)測(cè)哪些分子可能作為藥物，或者準(zhǔn)確地模擬化學(xué)反應(yīng)。

人工智能的進(jìn)步常常引發(fā)人們對(duì)人類退化的擔(dān)憂。DeepMind希望這類機(jī)器最終能成為生物大腦的助手，而不是取代它們，就像從搜索引擎到紙張一樣。畢竟，一臺(tái)機(jī)器發(fā)明新的解決問(wèn)題的方法，能夠推動(dòng)人們走上新的、高效的道路。Silver先生表示，AlphaGo的一個(gè)好處是，在一個(gè)充滿歷史和傳統(tǒng)的游戲中，它鼓勵(lì)人類棋手對(duì)古老的智慧提出質(zhì)疑，并進(jìn)行實(shí)驗(yàn)。在輸給了AlphaGo之后，柯潔研究了計(jì)算機(jī)陣法，尋找靈感。之后，他又以22連勝的成績(jī)打敗了人類對(duì)手，這是一個(gè)令人印象深刻的壯舉，即使對(duì)于他的對(duì)手來(lái)說(shuō)也是如此。畢竟，監(jiān)督學(xué)習(xí)是雙向的。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。