深度神經(jīng)網(wǎng)絡(luò) - 模仿人類大腦中神經(jīng)元行為的數(shù)學(xué)函數(shù)層 - 是最先進(jìn)的機(jī)器翻譯和異議識別系統(tǒng)的核心。它們有助于將一種語言翻譯成另一種語言并從名片中提取地址。問題是，它們經(jīng)常受到智能手機(jī)，可穿戴設(shè)備和其他移動設(shè)備的硬件限制 - 特別是在內(nèi)存和計(jì)算方面。
不過，對于高性能的離線算法還有希望。在本周于比利時布魯塞爾舉行的自然語言處理經(jīng)驗(yàn)方法會議上發(fā)表的一篇論文中，谷歌研究人員描述了離線的設(shè)備上AI系統(tǒng) - 自我管理神經(jīng)網(wǎng)絡(luò)（SGNN） - 它們實(shí)現(xiàn)了空中狀態(tài)導(dǎo)致特定的對話框相關(guān)任務(wù)。
“在設(shè)備上開發(fā)和部署深度神經(jīng)網(wǎng)絡(luò)模型的主要挑戰(zhàn)是：（1）微小的內(nèi)存占用，（2）推理延遲和（3）與高性能計(jì)算系統(tǒng)（如CPU，GPU）相比顯著低的計(jì)算容量和云上的TPU，“該團(tuán)隊(duì)寫道?！癧SGGNs]允許我們在設(shè)備上以非常快的速度計(jì)算傳入文本的投影，因?yàn)槲覀儾恍枰鎯魅氲奈谋竞妥智度搿！?/p>
正如該論文的作者所解釋的那樣，有許多方法可以設(shè)計(jì)一個輕量級的設(shè)備上文本分類模型，比如將模型與圖形學(xué)習(xí)相結(jié)合，這就是谷歌智能回復(fù)中使用的模型， 并自動生成簡短的電子郵件回復(fù)。但大多數(shù)要么不能很好地?cái)U(kuò)展，要么導(dǎo)致大型模型。
相比之下，SGGN采用了局部敏感散列（LSH）的修改版本，這種技術(shù)通過散列或映射輸入項(xiàng)來減少數(shù)據(jù)中的維數(shù)，以便類似的項(xiàng)以高概率映射到相同的“桶”。顧名思義，它是自我控制的 - 它可以通過動態(tài)地將輸入轉(zhuǎn)換為具有投影函數(shù)的低維表示來學(xué)習(xí)模型而無需初始化，加載或存儲任何特征。此外，在對數(shù)據(jù)進(jìn)行訓(xùn)練時，它學(xué)會選擇并應(yīng)用對給定任務(wù)更具預(yù)測性的特定操作。
該團(tuán)隊(duì)寫道，這減少了數(shù)百萬個獨(dú)特單詞的輸入維度，縮短了固定長度的短序列，并且無需存儲文本和單詞嵌入（代表單詞和短語的向量）。在實(shí)驗(yàn)中，與存儲要求超過數(shù)十萬維的字嵌入方法相比，SGGN使用固定的1120維向量，而不管輸入數(shù)據(jù)的詞匯表或特征大小。
研究人員使用兩個對話行為基準(zhǔn)數(shù)據(jù)集來評估SGGN：交換機(jī)對話法案語料庫（SWDA），其中包含兩個發(fā)言人和42個對話行為，以及ICSI會議記錄器對話法案語料庫，一個多方會議的對話語料庫。
沒有預(yù)處理，標(biāo)記，解析或預(yù)訓(xùn)練嵌入，SGGN的表現(xiàn)優(yōu)于基線AI系統(tǒng)12％至35％。通過SWDA和MRDA數(shù)據(jù)集，它實(shí)現(xiàn)了83.1％的準(zhǔn)確率和86.7％的準(zhǔn)確度 - 高于基準(zhǔn) - 針對尖端卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò) - 并且日本的準(zhǔn)確度達(dá)到73％，接近最佳性能系統(tǒng)。
在未來的工作中，研究人員計(jì)劃調(diào)查SGGN在其他自然語言任務(wù)中的使用。
“我們的研究還表明，與更復(fù)雜的神經(jīng)網(wǎng)絡(luò)架構(gòu)相比，所提出的方法對于這種自然語言任務(wù)非常有效，例如深CNN和RNN變體，”研究人員寫道?！拔覀兿嘈艍嚎s技術(shù)，如與非線性函數(shù)結(jié)合的局部敏感投影，可有效捕獲對文本分類應(yīng)用有用的低維語義文本表示?！?/p>
近年來，邊緣人工智能系統(tǒng)取得了突飛猛進(jìn)的發(fā)展。
9月，都柏林創(chuàng)業(yè)公司 Voysis 宣布推出基于WaveNet的技術(shù)，該技術(shù)不僅可以在線下運(yùn)行，還可以在智能手機(jī)和其他帶有移動處理器的設(shè)備上運(yùn)行。8月，Google的研究人員開發(fā)了具有記錄面部識別和物體檢測速度的離線AI。5月份，高通聲稱其設(shè)備上的語音識別系統(tǒng)準(zhǔn)確率達(dá)到了95％。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
