超越圖像識(shí)別，機(jī)器還看得懂動(dòng)作！IBM和MIT讓機(jī)器識(shí)別動(dòng)態(tài)行為

• 本文來自微信公眾號(hào)【AI商業(yè)報(bào)道】

高層速讀

關(guān)鍵信息：MIT-IBM Watson AI Lab正在利用百萬規(guī)模的動(dòng)作視頻數(shù)據(jù)集訓(xùn)練模型，想要教機(jī)器識(shí)別游泳、關(guān)門等動(dòng)作，該數(shù)據(jù)集叫做Moments in Time，可在其網(wǎng)站上下載使用。

關(guān)鍵數(shù)據(jù)：Moments in Time內(nèi)含了100萬個(gè)標(biāo)注動(dòng)作的視頻，每個(gè)動(dòng)作類別的視頻數(shù)量均在2000個(gè)以上，每段視頻的時(shí)間均為3秒。

關(guān)鍵意義：教機(jī)器識(shí)別動(dòng)作，將是人工智能的下一重大進(jìn)展。

我們?cè)诳匆曨l時(shí)，很容易理解每一段視頻中所描繪的動(dòng)作，比如一扇打開的門，一本打開的書，一朵盛開的鮮花或是一只正在打哈欠的狗。而計(jì)算機(jī)模型卻不能識(shí)別到物體的「動(dòng)作」。

這也是MIT-IBM Watson AI Lab正在研究的項(xiàng)目，該實(shí)驗(yàn)室推出了一個(gè)百萬規(guī)模的視頻理解數(shù)據(jù)集：Moments in Time。它內(nèi)含100萬個(gè)標(biāo)注了動(dòng)作的視頻，如拍手、開門、游泳、降落等，每個(gè)動(dòng)作類別的視頻數(shù)量均在2000個(gè)以上，每一段視頻的時(shí)間是相同的，均為3秒。

Gutfreund 與麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室的首席研究科學(xué)家Aude Oliva，是該項(xiàng)目的負(fù)責(zé)人，同時(shí)，他們也是MIT-IBM Watson AILab的執(zhí)行主任。

Gutfreund 和Aude Oliva正在利用這些視頻片段來推動(dòng)人工智能的下一重大進(jìn)展：教機(jī)器識(shí)別動(dòng)作。

如何教機(jī)器識(shí)別動(dòng)作呢？

一、從動(dòng)態(tài)的場(chǎng)景中學(xué)習(xí)

研究人員說，他們的目標(biāo)是提供深度學(xué)習(xí)算法，對(duì)視覺和聽覺生態(tài)系統(tǒng)進(jìn)行大量的覆蓋，從而讓模型能夠?qū)W習(xí)非監(jiān)督方式教授的信息，并推廣到新的情境和任務(wù)中。

“當(dāng)我們不再是嬰兒時(shí)，我們環(huán)顧四周可以看到人和物體在移動(dòng)，我們聽到人們和物體發(fā)出的聲音，我們有很多視覺和聽覺的體驗(yàn)。人工智能系統(tǒng)也需要以同樣的方式進(jìn)行學(xué)習(xí)，并通過動(dòng)態(tài)視頻來獲取信息。”O(jiān)liva說。

視頻數(shù)據(jù)集中的每一個(gè)動(dòng)作類別都超過2,000個(gè)視頻，這些片段使計(jì)算機(jī)模型能夠更好地了解關(guān)于特定行為和事件的多樣性。

Oliva補(bǔ)充道：“該數(shù)據(jù)集可以作為開發(fā)人工智能模型的新挑戰(zhàn)，它可以擴(kuò)展到人類日常工作的復(fù)雜性和抽象推理的水平。不同的事件包括了不同的人物，對(duì)象，動(dòng)物和自然環(huán)境，它們可能在時(shí)間上是對(duì)稱的。舉個(gè)例子，打開意味著以相反的順序關(guān)閉。它們可以是暫時(shí)的，也可以是持續(xù)的?！?/p>

Gutfreund 、Aude Oliva以及MIT和IBM的其他研究人員，經(jīng)常會(huì)在一起討論技術(shù)問題，比如如何選擇標(biāo)注的動(dòng)作類別、在哪里可以找到合適的視頻，以及如何組合數(shù)組等，如此人工智能系統(tǒng)方可毫無偏見地學(xué)習(xí)。

該團(tuán)隊(duì)還開發(fā)了機(jī)器學(xué)習(xí)模型，用于擴(kuò)展數(shù)據(jù)收集。 Oliva說：“我們的合作很好，因?yàn)槲覀冇型瑯拥臒崆楹拖嗤哪繕?biāo)。”

• 本文來自微信公眾號(hào)【AI商業(yè)報(bào)道】

二、增強(qiáng)人類智能

該實(shí)驗(yàn)室的一個(gè)關(guān)鍵目標(biāo)是開發(fā)人工智能系統(tǒng)，用于解決更復(fù)雜的問題，并從強(qiáng)大和持續(xù)的學(xué)習(xí)中受益?！?strong>我們正在尋找新的算法，使其可以從有限的數(shù)據(jù)中學(xué)習(xí)，以增強(qiáng)人類的智力，”IBM Research首席運(yùn)營(yíng)官Sophie V. Vandebroek說。

除了將各自的技術(shù)和科學(xué)優(yōu)勢(shì)結(jié)合起來，IBM還為MIT的研究人員帶來了大量資源，未來10年，將投資2.4億美元用于人工智能研發(fā)。根據(jù)研究人員的說法，MIT-IBM對(duì)AI的研究是有益的。

IBM對(duì)MIT在開發(fā)基于視覺的人工智能系統(tǒng)很感興趣，并稱這是一項(xiàng)新奇的事業(yè)。

現(xiàn)在，二者的合作已經(jīng)達(dá)到了100萬個(gè)動(dòng)作視頻數(shù)據(jù)集，用戶可以訪問他們的網(wǎng)站，下載數(shù)據(jù)集和深度學(xué)習(xí)模型，用以識(shí)別物體動(dòng)作的研究?！?/p>

到目前為止的定性結(jié)果顯示，其模型能夠很好地識(shí)別動(dòng)作額框架和閉合度，但當(dāng)類別細(xì)化或存在背景混亂的情況時(shí)，它們會(huì)出現(xiàn)問題。Oliva稱，麻省理工學(xué)院和IBM研究人員已經(jīng)提交了一篇文章，描述了在數(shù)據(jù)集上訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型的性能，而這個(gè)模型本身被共享的觀點(diǎn)深化過的。

Oliva還提到：“IBM研究人員給我們提供了一些想法，讓我們?cè)卺t(yī)療保健和體育等領(lǐng)域增加動(dòng)作的類別，擴(kuò)大了我們的視野，他們還給了我們關(guān)于AI如何從商業(yè)和消費(fèi)需求中產(chǎn)生影響的想法?！?/p>

Moments in Time數(shù)據(jù)集的第一版是最大的帶有人類注釋的視頻數(shù)據(jù)集，涵蓋了可視的和可聽的短事件。所有數(shù)據(jù)都被標(biāo)記在339個(gè)不同類別中，包括廣泛的常用動(dòng)詞或者活動(dòng)標(biāo)簽。

研究人員打算生成更多具有各種抽象層次的數(shù)據(jù)集，以作為開發(fā)學(xué)習(xí)算法的基礎(chǔ)，同時(shí)讓這些算法可以在事物之間建立類比，通過想象合成新事件，并完成場(chǎng)景解釋。

“換句話說，他們才剛剛開始，”Gutfreund說，“我們希望Moments in Time數(shù)據(jù)集能夠讓模型充分理解視頻中的動(dòng)作和動(dòng)態(tài)?！?/p>

• 微信內(nèi)搜索并關(guān)注公眾號(hào)[AI商業(yè)報(bào)道]，獲得人工智能領(lǐng)域第一手商業(yè)資訊

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。