在近幾年，人工神經(jīng)網(wǎng)絡(luò)--一種參照大腦運(yùn)作模式而建成的計(jì)算模型--已經(jīng)成為了最為炙手可熱的人工智能系統(tǒng)，并且應(yīng)用于從語音到圖像的各個(gè)領(lǐng)域。
AI科技評(píng)論消息，MIT CSAIL于今日發(fā)布了一個(gè)重磅研究成果：他們已經(jīng)開發(fā)出一個(gè)大腦神經(jīng)回路的計(jì)算模型，它揭示了抑制神經(jīng)元的生物意義。
這個(gè)模型是由一組輸入神經(jīng)元陣列與同等數(shù)量的輸出神經(jīng)元組成，采用「競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則」（winner-take-all）來操作。
也就是說，網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競(jìng)爭(zhēng)以求被激活，但在每一時(shí)刻只有一個(gè)輸出神經(jīng)元被激活。這個(gè)被激活的神經(jīng)元稱為競(jìng)爭(zhēng)獲勝神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱為Winner Take All,這就像美國(guó)大選一樣，在該州獲得更多選票的候選者就會(huì)得到該區(qū)所有的選票。
MIT研究者們證明，通過使用理論計(jì)算機(jī)科學(xué)的相關(guān)工具，他們的模型能夠讓一定配置的抑制性神經(jīng)元遵循「競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則」，并獲得最有效的結(jié)果。這其中原因何在？真相就在于該模型能夠?qū)σ种菩陨窠?jīng)元在大腦中的行為進(jìn)行預(yù)測(cè)，而這也成為了計(jì)算分析輔佐神經(jīng)科學(xué)研究的絕佳例子。
這一新發(fā)現(xiàn)在本周的理論計(jì)算機(jī)科學(xué)變革會(huì)議上公布。論文作者為MIT軟件科學(xué)及工程的NEC教授Nancy Lynch,博士后Merav Parter及電子工程與計(jì)算機(jī)科學(xué)的研究生Cameron Musco.Lynch表示，「這一發(fā)現(xiàn)能夠?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)或以手機(jī)為代表的電子設(shè)備與生物系統(tǒng)中的神經(jīng)網(wǎng)絡(luò)之間建立起緊密聯(lián)系，我們正在嘗試從分布式計(jì)算的角度尋找可能使之受益的方向，并將重點(diǎn)放在算法上。
為了補(bǔ)充一些背景知識(shí)，AI科技評(píng)論先為大家簡(jiǎn)單介紹一下
人工神經(jīng)網(wǎng)絡(luò)與人體神經(jīng)網(wǎng)絡(luò)的聯(lián)系與區(qū)別：
我們都知道，大腦的神經(jīng)細(xì)胞存在兩種狀態(tài)：興奮和抑制。神經(jīng)細(xì)胞通過某種方式將所有樹突上的信號(hào)進(jìn)行相加，如果信號(hào)總和超過了某個(gè)閾值，那么這個(gè)神經(jīng)細(xì)胞就會(huì)被刺激，達(dá)到興奮狀態(tài)。人工神經(jīng)網(wǎng)絡(luò)也就是模仿上述原理而設(shè)計(jì)的一種算法模型。
人工神經(jīng)網(wǎng)絡(luò)與人體的神經(jīng)元類似，由多個(gè)節(jié)點(diǎn)（神經(jīng)元）之間聯(lián)結(jié)而成，每個(gè)節(jié)點(diǎn)代表一種特定的輸出函數(shù)，并根據(jù)各個(gè)節(jié)點(diǎn)的不同權(quán)重生成不同的計(jì)算輸出。
由于權(quán)重能夠表示激發(fā)或抑制作用（在這里，雷鋒網(wǎng)為大家簡(jiǎn)單表示為正負(fù)關(guān)系），這些或正或負(fù)的數(shù)據(jù)將作為激勵(lì)函數(shù)的輸入進(jìn)行作用。而這個(gè)激勵(lì)函數(shù)經(jīng)過所有不同節(jié)點(diǎn)的權(quán)重綜合計(jì)算后得到一個(gè)新的激勵(lì)值，并最終得到我們想要的結(jié)果。
而在人工智能應(yīng)用中，實(shí)際情況當(dāng)然會(huì)更加復(fù)雜一些。一個(gè)神經(jīng)網(wǎng)絡(luò)可以接受不同數(shù)據(jù)的訓(xùn)練，不斷通過調(diào)整權(quán)重而得到更契合實(shí)際的結(jié)果。
“生物層面上的真實(shí)性”
Lynch團(tuán)隊(duì)對(duì)該模型進(jìn)行了多處修改，使得人工神經(jīng)網(wǎng)絡(luò)在生物層面更加真實(shí)。首先是增加抑制性神經(jīng)元的數(shù)量。通常在人工神經(jīng)網(wǎng)絡(luò)中，連接上的權(quán)重值就和方才提及的一樣，通常是正的，或者是可正可負(fù)的。但在人體大腦中，有一些神經(jīng)網(wǎng)絡(luò)能夠發(fā)揮純粹的抑制作用，并阻止其它神經(jīng)元活動(dòng)，因此MIT的研究人員參考這一點(diǎn)，將這些神經(jīng)元建模為只連接負(fù)權(quán)重的節(jié)點(diǎn)。
而就像我們所了解到的一樣，很多人工智能采用的是前饋網(wǎng)絡(luò)，即信號(hào)只從一個(gè)方向通過網(wǎng)絡(luò)，從接收輸入數(shù)據(jù)的第一層到提供計(jì)算結(jié)果的最后一層。但大腦間的反饋會(huì)更加復(fù)雜一些。
Lynch、Parter及Musco的神經(jīng)網(wǎng)絡(luò)就增加了一層反饋機(jī)制，輸出神經(jīng)元的信號(hào)傳遞到抑制性神經(jīng)元，它的輸出會(huì)再次傳遞到輸出層。此外，輸出神經(jīng)元的信號(hào)也會(huì)反饋給自身，這對(duì)競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則而言顯得非常重要且有效。
MIT的研究人員改進(jìn)的人工神經(jīng)網(wǎng)絡(luò)還有一點(diǎn)最大的不同在于，神經(jīng)網(wǎng)絡(luò)變得更具概率性。因?yàn)樵诖饲皞鹘y(tǒng)的人工神經(jīng)網(wǎng)絡(luò)中，如果節(jié)點(diǎn)的輸入值超過某個(gè)閾值，則節(jié)點(diǎn)會(huì)被激發(fā)。但在大腦中，即使增加了輸入神經(jīng)元的信號(hào)強(qiáng)度，也只會(huì)增加輸出神經(jīng)元激活信號(hào)的機(jī)會(huì)。這同樣對(duì)于競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則也具有不小的意義。
抑制的優(yōu)點(diǎn)
Parter與她的同事們成功證明，如果只有一個(gè)抑制性神經(jīng)元，是不可能變成競(jìng)爭(zhēng)學(xué)習(xí)的最終「贏家」的（但兩個(gè)就OK了！）。其中的秘訣在于，如果多于一個(gè)輸出神經(jīng)元激活抑制性神經(jīng)元（研究人員稱之為收斂神經(jīng)元）能夠激活強(qiáng)抑制信號(hào)。而另一個(gè)抑制性神經(jīng)元（被稱為穩(wěn)定神經(jīng)元）的功能在于，只要任何輸出神經(jīng)元正在激活信號(hào)，那么它都只會(huì)發(fā)出更弱的信號(hào)。
收斂神經(jīng)元能夠驅(qū)動(dòng)神經(jīng)網(wǎng)絡(luò)選擇單個(gè)輸出神經(jīng)元，并在該節(jié)點(diǎn)上停止激活信號(hào)；而穩(wěn)定神經(jīng)元?jiǎng)t會(huì)在收斂神經(jīng)元已經(jīng)停止活動(dòng)時(shí)防止輸出神經(jīng)元的第二次作用。而如果輸出神經(jīng)元被抑制的時(shí)間越久，它越有可能繼續(xù)保持這一狀態(tài)。而一旦選擇了單個(gè)輸出神經(jīng)元，它的反饋回路能夠確保自己能夠克服穩(wěn)定神經(jīng)元的抑制作用。
但是，如果缺少了隨機(jī)性，網(wǎng)絡(luò)并不會(huì)收斂到單個(gè)輸出神經(jīng)元，抑制性神經(jīng)元權(quán)重的任何設(shè)置將同等地影響所有的輸出神經(jīng)元?！改阈枰S機(jī)性來打破這種對(duì)稱性，」Parter解釋道。
研究人員能夠確定所需要的輔助神經(jīng)元的最小數(shù)量，以保證特定收斂的速度，以及在一定數(shù)量的輔助神經(jīng)元的情況下的最大收斂速度。
越多的收斂神經(jīng)元并不代表著收斂速度一定會(huì)加快，比如說現(xiàn)在有100個(gè)輸入神經(jīng)元，兩到三個(gè)收斂神經(jīng)元已經(jīng)足夠，而增加第四個(gè)并不會(huì)增加你的速度。與此同時(shí)，一個(gè)穩(wěn)定神經(jīng)元已經(jīng)足夠。
但更有意思的地方在于，研究人員發(fā)現(xiàn)興奮性神經(jīng)元（刺激）與抑制神經(jīng)元一樣，并不能增強(qiáng)神經(jīng)網(wǎng)絡(luò)的處理效率。
Salk生物研究所的助理教授Saket Navlakha表示，這個(gè)模型能夠應(yīng)用于很多的感覺系統(tǒng)中，包括生成稀疏碼的嗅覺系統(tǒng)?！肝覀円呀?jīng)發(fā)現(xiàn)了許多類型的抑制性神經(jīng)元，下一步我們打算看看是否能像論文所說的一樣，將抑制性神經(jīng)元分為上述兩類?！?/p>
卡耐基梅隆大學(xué)計(jì)算機(jī)科學(xué)Ziv Bar-Joseph表示，「神經(jīng)科學(xué)在計(jì)算模型上需要考慮更多的細(xì)節(jié)，除了抑制性神經(jīng)元如何發(fā)生作用外，什么樣的蛋白質(zhì)能夠驅(qū)動(dòng)它們呢？」目前，Nancy正在對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行全面性的觀察，并研究抑制神經(jīng)元的數(shù)量。而這種基于宏觀層面范圍內(nèi)的建模，相信能夠?yàn)槿祟悗砥者m性更強(qiáng)的預(yù)測(cè)。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
