CMU RI（卡內(nèi)基梅隆大學(xué)機(jī)器人學(xué)院）的科學(xué)家正研發(fā)一種可以從頭到腳讀取肢體語(yǔ)言的計(jì)算機(jī)系統(tǒng)。新項(xiàng)目可以實(shí)時(shí)讀取大規(guī)模人群的多個(gè)動(dòng)作姿勢(shì)，這為人與機(jī)器交互開辟了新的方式。
目前，與計(jì)算機(jī)通信主要限于打字，鼠標(biāo)點(diǎn)擊和屏幕觸摸。雖然語(yǔ)音交互更加普及，但人類主要是用文字交流。社會(huì)活動(dòng)中，半數(shù)的人際交往來(lái)自肢體語(yǔ)言，沒(méi)有肢體語(yǔ)言，互動(dòng)可能變得困難和費(fèi)力。
讓電腦讀懂人類的肢體語(yǔ)言是一件棘手的事，包括可以被物體或其他人遮蔽的手部動(dòng)作。除此之外，雖然大型數(shù)據(jù)庫(kù)存在標(biāo)注的面部表情和身體位置，但并沒(méi)有任何手勢(shì)和姿勢(shì)。
CMU RI（卡內(nèi)基·梅隆機(jī)器人研究院）副教授Yaser Sheikh領(lǐng)導(dǎo)的團(tuán)隊(duì)攻克了解決此問(wèn)題一些的方法。其中之一是，通過(guò)讓兩個(gè)研究生站在攝像機(jī)前面，做數(shù)千種不同的姿勢(shì)和手勢(shì)，來(lái)為計(jì)算機(jī)提供更多的數(shù)據(jù)。
另一個(gè)是顛覆了計(jì)算機(jī)讀取姿勢(shì)的常規(guī)方式。計(jì)算機(jī)不只關(guān)注人本身，而是會(huì)實(shí)時(shí)檢測(cè)手指的動(dòng)作，人的手、手臂、腿和臉，并鎖定這些動(dòng)作和姿勢(shì)。據(jù)團(tuán)隊(duì)介紹，這對(duì)觀眾來(lái)說(shuō)特別有用。
第三部分是使用CMU的Panoptic Studio（用于大規(guī)模社交互動(dòng)采集的多視角系統(tǒng)），它是一個(gè)有兩層樓高，并嵌有500臺(tái)攝像機(jī)的結(jié)構(gòu)。這使計(jì)算機(jī)可以從數(shù)百個(gè)不同角度，一次采集大量的動(dòng)作數(shù)據(jù)來(lái)用于研究。
機(jī)器人博士Hanbyul Joo說(shuō)："系統(tǒng)自動(dòng)標(biāo)注手的位置，單次拍攝可以讓你采集一個(gè)人的500次手部動(dòng)作。若手太小，無(wú)法被大多數(shù)相機(jī)標(biāo)注，但是對(duì)于這項(xiàng)研究，我們只使用了31臺(tái)高清攝像頭，但仍然能夠構(gòu)建一個(gè)龐大的數(shù)據(jù)集。"
團(tuán)隊(duì)正在努力解決，把2D模型轉(zhuǎn)換為3D模型，以獲得更好的識(shí)別效果。最終的目標(biāo)是制作一個(gè)，允許單個(gè)攝像頭和筆記本電腦，從一群人那里讀取姿勢(shì)的系統(tǒng)。
當(dāng)技術(shù)成熟時(shí)，CMU RI團(tuán)隊(duì)認(rèn)為它會(huì)非常有用，不僅可以讓人們通過(guò)簡(jiǎn)單的指向與機(jī)器進(jìn)行交互，還可以幫助自動(dòng)駕駛汽車推斷行人打算何時(shí)過(guò)馬路，可以用來(lái)自動(dòng)輔助診斷行為障礙，并跟蹤體育運(yùn)動(dòng)員的動(dòng)作，解釋他們?cè)谧鍪裁础?/p>
系統(tǒng)介紹
硬件：
480個(gè)VGA攝像頭，640 x 480分辨率，25 fps，使用硬件時(shí)鐘同步 31個(gè)高清攝像機(jī)，1920 x 1080分辨率，30 fps，使用硬件時(shí)鐘同步，與VGA攝像機(jī)定時(shí)對(duì)齊 10個(gè)KinectⅡ傳感器。1920 x 1080（RGB），512 x 424（depth），30 fps，它們之間和其他傳感器之間的時(shí)序?qū)R 5臺(tái)DLP投影機(jī)，與高清攝像機(jī)同步 場(chǎng)景與標(biāo)注：
多人
社會(huì)互動(dòng)群組
3D身體姿勢(shì)
3D面部地標(biāo)
Transcripts + speaker ID
（本文來(lái)源于微信公眾號(hào)機(jī)械雞）
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
