國(guó)際研究團(tuán)隊(duì)推出用于邊緣AI的高效新型神經(jīng)形態(tài)芯片

一組國(guó)際研究人員設(shè)計(jì)、制造和測(cè)試了 NeuRRAM 芯片。圖片來(lái)源：David Baillot/加州大學(xué)圣地亞哥分校

NeuRRAM 是一種直接在內(nèi)存中運(yùn)行計(jì)算并可以運(yùn)行各種人工智能應(yīng)用程序的新芯片，由一個(gè)國(guó)際研究團(tuán)隊(duì)設(shè)計(jì)和制造。它的與眾不同之處在于，它所消耗的能源只是通用 AI 計(jì)算計(jì)算平臺(tái)所消耗的能源的一小部分。

NeuRRAM 神經(jīng)形態(tài)芯片使人工智能更接近于在廣泛的邊緣設(shè)備上運(yùn)行，與云斷開(kāi)連接。這意味著他們可以隨時(shí)隨地執(zhí)行復(fù)雜的認(rèn)知任務(wù)，而無(wú)需依賴與中央服務(wù)器的網(wǎng)絡(luò)連接。該設(shè)備的應(yīng)用遍布全球的每一個(gè)角落和我們生活的方方面面。它們的范圍從智能手表到 VR 耳機(jī)、智能耳機(jī)、工廠中的智能傳感器以及用于太空探索的漫游車(chē)。

NeuRRAM 芯片的能效不僅是最先進(jìn)的“內(nèi)存計(jì)算”芯片（一種在內(nèi)存中運(yùn)行計(jì)算的創(chuàng)新混合芯片）的兩倍，它還提供與最先進(jìn)的“內(nèi)存計(jì)算”芯片一樣準(zhǔn)確的結(jié)果傳統(tǒng)的數(shù)字芯片。傳統(tǒng)的人工智能平臺(tái)體積更大，通常受限于使用在云中運(yùn)行的大型數(shù)據(jù)服務(wù)器。

NeuRRAM 芯片的特寫(xiě)。圖片來(lái)源：David Baillot/加州大學(xué)圣地亞哥分校

此外，NeuRRAM 芯片用途廣泛，支持多種不同的神經(jīng)網(wǎng)絡(luò)模型和架構(gòu)。因此，該芯片可用于許多不同的應(yīng)用，包括圖像識(shí)別和重建以及語(yǔ)音識(shí)別。

“傳統(tǒng)觀點(diǎn)認(rèn)為，內(nèi)存計(jì)算的更高效率是以多功能性為代價(jià)的，但我們的 NeuRRAM 芯片在不犧牲多功能性的同時(shí)獲得了效率，”該論文的第一通訊作者、最近獲得博士學(xué)位的萬(wàn)維爾說(shuō)。他畢業(yè)于斯坦福大學(xué)，曾在加州大學(xué)圣地亞哥分校從事芯片研究，在那里他與生物工程系的 Gert Cauwenberghs 共同擔(dān)任顧問(wèn)。

由加州大學(xué)圣地亞哥分校 (UCSD) 的生物工程師共同領(lǐng)導(dǎo)的研究小組在 8 月 17 日的Nature 雜志上展示了他們的研究結(jié)果。

NeuRRAM 芯片采用了一種創(chuàng)新的架構(gòu)，該架構(gòu)已在整個(gè)堆棧中進(jìn)行了協(xié)同優(yōu)化。圖片來(lái)源：David Baillot/加州大學(xué)圣地亞哥分校

目前，人工智能計(jì)算既耗電又昂貴。邊緣設(shè)備上的大多數(shù)人工智能應(yīng)用都涉及將數(shù)據(jù)從設(shè)備移動(dòng)到云端，人工智能在云端對(duì)其進(jìn)行處理和分析。然后將結(jié)果傳輸回設(shè)備。這是必要的，因?yàn)榇蠖鄶?shù)邊緣設(shè)備都是電池供電的，因此只能用于計(jì)算的電量有限。

通過(guò)降低邊緣 AI 推理所需的功耗，這款 NeuRRAM 芯片可以帶來(lái)更強(qiáng)大、更智能、更易于訪問(wèn)的邊緣設(shè)備和更智能的制造。它還可以帶來(lái)更好的數(shù)據(jù)隱私，因?yàn)閷?shù)據(jù)從設(shè)備傳輸?shù)皆茣?huì)增加安全風(fēng)險(xiǎn)。

在 AI 芯片上，將數(shù)據(jù)從內(nèi)存轉(zhuǎn)移到計(jì)算單元是一大瓶頸。“這相當(dāng)于每天花8小時(shí)上下班，卻只有2小時(shí)用來(lái)工作?！?/p>

為了解決這個(gè)數(shù)據(jù)傳輸問(wèn)題，研究人員使用了所謂的電阻式隨機(jī)存取存儲(chǔ)器。這種類型的非易失性存儲(chǔ)器允許直接在存儲(chǔ)器內(nèi)而不是在單獨(dú)的計(jì)算單元中進(jìn)行計(jì)算。RRAM 和其他用作神經(jīng)形態(tài)計(jì)算的突觸陣列的新興內(nèi)存技術(shù)是在斯坦福大學(xué) Wan 的顧問(wèn)、這項(xiàng)工作的主要貢獻(xiàn)者之一 Philip Wong 的實(shí)驗(yàn)室中開(kāi)創(chuàng)的。盡管使用 RRAM 芯片進(jìn)行計(jì)算不一定是新事物，但通常會(huì)導(dǎo)致在芯片上執(zhí)行的計(jì)算的準(zhǔn)確性降低，并且芯片架構(gòu)缺乏靈活性。

“自 30 多年前引入內(nèi)存計(jì)算以來(lái)，它一直是神經(jīng)形態(tài)工程中的常見(jiàn)做法，”Cauwenberghs 說(shuō)?！癗euRRAM 的全新之處在于，極高的效率現(xiàn)在與各種 AI 應(yīng)用程序的極大靈活性相結(jié)合，與標(biāo)準(zhǔn)數(shù)字通用計(jì)算平臺(tái)相比，準(zhǔn)確性幾乎沒(méi)有損失?！?/p>

精心設(shè)計(jì)的方法是跨硬件和軟件抽象層進(jìn)行多層次“協(xié)同優(yōu)化”的關(guān)鍵，從芯片的設(shè)計(jì)到運(yùn)行各種 AI 任務(wù)的配置。此外，該團(tuán)隊(duì)確?？紤]到從存儲(chǔ)設(shè)備物理到電路和網(wǎng)絡(luò)架構(gòu)的各種限制。

“這款芯片現(xiàn)在為我們提供了一個(gè)平臺(tái)，可以解決從設(shè)備和電路到算法的整個(gè)堆棧問(wèn)題，”圣母大學(xué)計(jì)算機(jī)科學(xué)與工程助理教授 Siddharth Joshi 說(shuō)。

研究人員通過(guò)一種稱為能量延遲積或 EDP 的方法來(lái)測(cè)量芯片的能量效率。EDP 結(jié)合了每次操作消耗的能量和完成操作所需的時(shí)間。通過(guò)這一措施，與最先進(jìn)的芯片相比，NeuRRAM 芯片的 EDP 低 1.6 到 2.3 倍（越低越好），計(jì)算密度高 7 到 13 倍。

工程師在芯片上運(yùn)行各種 AI 任務(wù)。它在手寫(xiě)數(shù)字識(shí)別任務(wù)上達(dá)到了 99% 的準(zhǔn)確率；85.7% 的圖像分類任務(wù)；84.7% 的谷歌語(yǔ)音命令識(shí)別任務(wù)。此外，該芯片還在圖像恢復(fù)任務(wù)中實(shí)現(xiàn)了 70% 的圖像重建誤差降低。這些結(jié)果可與現(xiàn)有的數(shù)字芯片相媲美，這些芯片在相同的位精度下執(zhí)行計(jì)算，但大大節(jié)省了能源。

研究人員指出，該論文的一個(gè)關(guān)鍵貢獻(xiàn)是，所有特色結(jié)果都是直接在硬件上獲得的。在之前的許多內(nèi)存計(jì)算芯片工作中，AI 基準(zhǔn)測(cè)試結(jié)果通常部分通過(guò)軟件模擬獲得。

下一步包括改進(jìn)架構(gòu)和電路，并將設(shè)計(jì)擴(kuò)展到更先進(jìn)的技術(shù)節(jié)點(diǎn)。工程師還計(jì)劃解決其他應(yīng)用，例如脈沖神經(jīng)網(wǎng)絡(luò)。

匹茲堡大學(xué)助理教授 Rajkumar Kubendran博士說(shuō)：“我們可以在設(shè)備層面做得更好，改進(jìn)電路設(shè)計(jì)以實(shí)現(xiàn)更多功能，并通過(guò)我們的動(dòng)態(tài) NeuRRAM 平臺(tái)解決各種應(yīng)用問(wèn)題?！?/p>

此外，Wan 是一家致力于生產(chǎn)內(nèi)存計(jì)算技術(shù)的初創(chuàng)公司的創(chuàng)始成員?！白鳛橐幻芯咳藛T和工程師，我的抱負(fù)是將實(shí)驗(yàn)室的研究創(chuàng)新成果付諸實(shí)踐，”Wan說(shuō)。

NeuRRAM 能源效率的關(guān)鍵是一種創(chuàng)新的方法來(lái)檢測(cè)內(nèi)存中的輸出。傳統(tǒng)方法使用電壓作為輸入并測(cè)量電流作為結(jié)果。但這導(dǎo)致需要更復(fù)雜、更耗電的電路。在 NeuRRAM 中，該團(tuán)隊(duì)設(shè)計(jì)了一種神經(jīng)元電路，可以感應(yīng)電壓并以節(jié)能的方式執(zhí)行模數(shù)轉(zhuǎn)換。這種電壓模式感測(cè)可以在單個(gè)計(jì)算周期內(nèi)激活 RRAM 陣列的所有行和所有列，從而實(shí)現(xiàn)更高的并行度。

在 NeuRRAM 架構(gòu)中，CMOS 神經(jīng)元電路與 RRAM 權(quán)重物理交錯(cuò)。它不同于傳統(tǒng)設(shè)計(jì)，其中 CMOS 電路通常位于 RRAM 重量的外圍。神經(jīng)元與 RRAM 陣列的連接可以配置為作為神經(jīng)元的輸入或輸出。這允許在各種數(shù)據(jù)流方向上進(jìn)行神經(jīng)網(wǎng)絡(luò)推理，而不會(huì)產(chǎn)生面積或功耗方面的開(kāi)銷。這反過(guò)來(lái)又使架構(gòu)更易于重新配置。

為了確保人工智能計(jì)算的準(zhǔn)確性可以在各種神經(jīng)網(wǎng)絡(luò)架構(gòu)中保持不變，工程師們開(kāi)發(fā)了一套硬件算法協(xié)同優(yōu)化技術(shù)。這些技術(shù)在各種神經(jīng)網(wǎng)絡(luò)上得到了驗(yàn)證，包括卷積神經(jīng)網(wǎng)絡(luò)、長(zhǎng)短期記憶和受限玻爾茲曼機(jī)。

作為神經(jīng)形態(tài) AI 芯片，NeuroRRAM 跨 48 個(gè)神經(jīng)突觸核心執(zhí)行并行分布式處理。為了同時(shí)實(shí)現(xiàn)高通用性和高效率，NeuRRAM 通過(guò)將神經(jīng)網(wǎng)絡(luò)模型中的一層映射到多個(gè)核上以對(duì)多個(gè)數(shù)據(jù)進(jìn)行并行推理，從而支持?jǐn)?shù)據(jù)并行。此外，NeuRRAM 通過(guò)將模型的不同層映射到不同的內(nèi)核并以流水線方式執(zhí)行推理來(lái)提供模型并行性。

這項(xiàng)工作是一個(gè)國(guó)際研究團(tuán)隊(duì)的成果。

UCSD 團(tuán)隊(duì)設(shè)計(jì)了實(shí)現(xiàn)與 RRAM 陣列接口的神經(jīng)功能的 CMOS 電路，以支持芯片架構(gòu)中的突觸功能，以實(shí)現(xiàn)高效率和多功能性。Wan與整個(gè)團(tuán)隊(duì)密切合作，實(shí)施了設(shè)計(jì)；表征芯片；訓(xùn)練人工智能模型；并進(jìn)行了實(shí)驗(yàn)。Wan 還開(kāi)發(fā)了一個(gè)軟件工具鏈，將 AI 應(yīng)用程序映射到芯片上。

RRAM 突觸陣列及其操作條件在斯坦福大學(xué)進(jìn)行了廣泛的表征和優(yōu)化。

RRAM 陣列在清華大學(xué)制造并集成到 CMOS 上。

Notre Dame 的團(tuán)隊(duì)為芯片的設(shè)計(jì)和架構(gòu)以及隨后的機(jī)器學(xué)習(xí)模型設(shè)計(jì)和培訓(xùn)做出了貢獻(xiàn)。

這項(xiàng)研究開(kāi)始于美國(guó)國(guó)家科學(xué)基金會(huì)資助的賓夕法尼亞州立大學(xué)“硅上視覺(jué)皮層計(jì)算探險(xiǎn)”項(xiàng)目的一部分，該項(xiàng)目繼續(xù)得到海軍AI研究科學(xué)辦公室、半導(dǎo)體研究公司和DARPA JUMP項(xiàng)目以及西部數(shù)字公司的資金支持。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。