LSTM之父Jürgen Schmidhuber丨“認知智能 改變世界”嘉賓巡禮

L先生總是好忘事，于是他每次出門隨身帶一個筆記本，遇到事情就記在上面?？上У氖?，他只有一本筆記本，很快就記滿了。于是，每次有新事情發(fā)生，他就會把原來本子上的一部分不重要的內(nèi)容擦掉(遺忘)，把新接收的內(nèi)容寫下來(輸入)。

得益于這個小本本，L先生現(xiàn)在可以回憶起半個月之前的事了。而且由于L先生閑著沒事兒就翻翻自己的筆記本，他的腦子里也開始或多或少對很久之前的事留存了一些印象。

以上就是“好記性不如爛筆頭”的故事，也與今天的主角Jürgen Schmidhuber和他的LSTM理論有關。

JürgenSchmidhuber

Jürgen Schmidhuber教授是現(xiàn)代循環(huán)神經(jīng)網(wǎng)絡技術發(fā)展中的關鍵人物之一，他幫助創(chuàng)造了名為“長短期記憶的循環(huán)神經(jīng)網(wǎng)絡技術”(Long-Short Term Memory)，并影響了谷歌、微軟、IBM 等公司的人工智能研究。

Jürgen Schmidhuber 是瑞士人工智能實驗室IDSIA 的科學事務主管，同時任教于盧加諾大學和瑞士南部應用科學與藝術學院。

他于1987年和1991年在慕尼黑工業(yè)大學先后獲得計算機科學的學士和博士學位。自1987年以來，一直引領著自我改進式(self-improving)通用問題求解程序(problem-solver)的研究。

從1991年開始，他成為深度學習神經(jīng)網(wǎng)絡領域的開拓者。Predictability Minimization(可預測性最小化)模型，簡稱PM模型，出自1992年的論文《LearningFactorial Codes by Predictability Minimization》，他是唯一作者。

1997 年，Schmidhuber 博士和 Sepp Hochreiter 發(fā)表了一篇技術論文，后來證明這篇論文對視覺和語音上的快速進展起到了關鍵作用。這個方法被稱長短期記憶，簡稱LSTM。

2009 年，Schmidhuber當選歐洲科學與藝術學院院士。他獲獎很多，包括 2013 年國際神經(jīng)網(wǎng)絡協(xié)會的亥姆霍茲獎，以及 2016 年電氣與電子工程師協(xié)會的神經(jīng)網(wǎng)絡先鋒獎。

2019年，他獨立發(fā)表了一篇綜述論文，再一次概覽了極小極大博弈，及 PM 模型與 GAN 之間的強烈聯(lián)系。他一直認為 GAN 是其 PM 模型(1992)的變體，與Goodfellow 從郵件到演講也有多次公開交流。

他認為：GAN可以看作是 Adversarial Curiosity (1990)的特例，Adversarial Curiosity 基于兩個網(wǎng)絡之間的極小極大博弈，其中一個網(wǎng)絡通過其概率動作生成數(shù)據(jù)，而另一個網(wǎng)絡預測輸出的結(jié)果。

　　PM和GAN的對比

Jürgen Schmidhuber與他的LSTM

　　神經(jīng)網(wǎng)絡發(fā)展歷程

神經(jīng)網(wǎng)絡最早的雛形出現(xiàn)在1943年，心理學家McCul-loch提出了模仿神經(jīng)元的結(jié)構和工作原理的MP模型。20世紀50年代末，美國科學家Frank Rosenblatt提出了感知機學習，并于 1958 年正式提出了由兩層神經(jīng)元組成的神經(jīng)網(wǎng)絡，稱之為“感知器”。

循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network，RNN)是一種用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡，相比一般的神經(jīng)網(wǎng)絡來說，它能夠處理序列變化的數(shù)據(jù)。比如某個單詞的意思會因為上文提到的內(nèi)容不同而有不同的含義，RNN就能夠很好地解決這類問題。

RNN被頻繁用于分析預測序列數(shù)據(jù)，但研究表明，隨著時間的推移RNN會忘記之前的狀態(tài)信息，故引入了LSTM。LSTM優(yōu)勢在于它能夠解決梯度消失的問題，還可以保留誤差，用戶沿時間和層進行反向傳遞。

LSTM近年來在很多領域表現(xiàn)突出，被廣泛應用在機器人控制、圖像分析，文檔總結(jié)，視頻識別、手寫識別、聊天機器人、智能助手、推薦系統(tǒng)、預測疾病和股票市場等領域。如今，LSTM 原理已經(jīng)成了深度學習的根基。

例：我們所使用的智能手機語音識別功能就來自于Jurgen的研究，如今，超過10億人可以用上IDSIA開發(fā)的算法。

Jürgen Schmidhuber的理想：通用人工智能

　　1963 年的 Jürgen 和他的父親 Johann Schmidhuber 玩象棋

Jürgen Schmidhuber對機器人和通用人工智能的興趣可以追溯到青少年時代。他從圖書館借閱了大量科普書籍和科幻小說—尤其喜歡奧拉夫·斯泰普爾頓的《造星主》、E·T·A·霍夫曼的《沙人》，以及史坦尼斯勞·萊姆的小說。

1956 年，John McCarthy(1927~2011)在達特茅斯會議上將人工智能定義為：The science and engineering of making intelligent machines.

在20世紀60年代，人工智能的研究更多處于理論階段，隨著近些年計算機算力極大增長，這一波技術浪潮會帶來更多垂直產(chǎn)業(yè)應用的落地。Schmidhuber也將目光瞄向了推動技術成果向商業(yè)轉(zhuǎn)化，繼續(xù)投注他對通用人工智能目標的遠大設想。

通用人工智能又稱為AGI，其可以像人類一樣應對不同層面的問題，還具有自我學習、理解復雜理念等多種能力。

在追求通用人工智能的道路上，最為著名的公司當屬DeepMind，該公司創(chuàng)造了AlphaGo，在2014年被谷歌收入麾下。鮮為人知的是，DeepMind四位創(chuàng)始成員中有兩位來自Schmidhuber所在的IDSIA。

2014 年，Schmidhuber教授參與創(chuàng)辦了人工智能公司NNAISENSE，旨在打造第一個有實用價值的通用人工智能。其愿景為“為超人感知和智能自動化打造大規(guī)模神經(jīng)網(wǎng)絡解決方案，最終目標是推廣基于通用神經(jīng)網(wǎng)絡的人工智能”。

Jürgen認為，RNN是打造通用人工智能的基礎，不用很多年，我們就能夠制造出基于神經(jīng)網(wǎng)絡的 AI(NNAI)，NNAI 能夠通過逐步學習，跟一些動物一樣聰明。

認知智能 改變世界

由華院數(shù)據(jù)主辦的2019 世界人工智能大會(WAIC)“認知智能改變世界”論壇將于8月31日上午隆重開啟，Jürgen Schmidhuber教授在本論壇也會帶來精彩的學術分享，我們誠摯歡迎您的蒞臨!華院數(shù)據(jù)微信公眾號后臺回復“報名”立即參與。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。