直擊SIGGRAPH 2019：相芯科技的虛擬形象“夢(mèng)工廠”

2019年7月31日，第46屆國(guó)際計(jì)算機(jī)圖形與交互技術(shù)大會(huì)SIGGRAPH正在美國(guó)洛杉磯如火如荼進(jìn)行中。這是全球規(guī)模最大、影響最廣，同時(shí)也是最權(quán)威的一個(gè)集科學(xué)、藝術(shù)、商業(yè)于一體的CG展示、學(xué)術(shù)研討會(huì)。

從148篇技術(shù)論文、12場(chǎng)主題會(huì)議到185家世界著名企業(yè)現(xiàn)場(chǎng)展示技術(shù)，該大會(huì)的每一項(xiàng)成果，都代表著計(jì)算機(jī)圖形學(xué)與交互的最新突破。

戴上NVIDIA的最新的Prescription AR和Foveated AR頭顯，可以透過眼鏡清晰地看到自己漂浮于現(xiàn)實(shí)世界的光學(xué)投影;躺在麻省理工學(xué)院媒體實(shí)驗(yàn)室的沙發(fā)上，戴上頭顯，就可以得到舒服的放松和體驗(yàn);佩戴臺(tái)北科技大學(xué)的面部VR裝備，還能實(shí)時(shí)感受到冷熱液體在面部的流動(dòng)感……

雖然現(xiàn)場(chǎng)眾多AR、VR設(shè)備已足以抓人眼球，但記者的注意力還是被一個(gè)以3D虛擬形象為主題的展臺(tái)所深深吸引。這個(gè)名為“FaceUnity”(杭州相芯科技有限公司)的展臺(tái)被人群擠得滿滿當(dāng)當(dāng)，記者還未走近，就聽到了一陣陣的“oh my god”驚呼聲，讓人不由得好奇滿滿，急切地想一睹真容。

到底是什么樣的先進(jìn)技術(shù)，具有如此神奇的魅力?帶著這份好奇，記者走進(jìn)了該展臺(tái)，并現(xiàn)場(chǎng)采訪了該公司負(fù)責(zé)人。

　　(動(dòng)圖)

再造一個(gè)“你”

步入該展臺(tái)，最先映入眼簾的就是一臺(tái)塞滿了虛擬形象的電視。而剛剛的驚呼聲，就由此而來。每個(gè)人只要走近電視，等上3秒，屏幕就能立即生成與你相似且Q萌的3D虛擬形象，且無(wú)論你離開多久，只要再次出現(xiàn)，它就能立即認(rèn)出“你”，并實(shí)時(shí)顯示出另一個(gè)“你”。

FaceUnity工作人員告訴記者，這是其自主研發(fā)的PTA(Photo-to-Avatar)技術(shù)，可以根據(jù)用戶上傳的自拍照片，在云端對(duì)其進(jìn)行分析和重建，從而生成相似且美觀的3D虛擬形象。

該技術(shù)基于深度學(xué)習(xí)算法，融合了肖像神經(jīng)網(wǎng)絡(luò)和風(fēng)格化神經(jīng)網(wǎng)絡(luò)兩個(gè)組件。肖像網(wǎng)絡(luò)負(fù)責(zé)定位和提取人臉的特征信息，包括臉型、五官、皮膚、發(fā)型、胡子、眼鏡等，并通過和風(fēng)格化網(wǎng)絡(luò)的相互作用，重建具有本人特征的風(fēng)格化虛擬形象;風(fēng)格化網(wǎng)絡(luò)將真人形象進(jìn)行風(fēng)格化定制。

相比市面上的其他產(chǎn)品用素材庫(kù)分析來匹配生成3D虛擬形象，F(xiàn)aceUnity的技術(shù)是通過神經(jīng)網(wǎng)絡(luò)來提取人臉特征，并實(shí)時(shí)生成3D虛擬形象，真正做到了“千人千面”。

從記者的現(xiàn)場(chǎng)體驗(yàn)來看，無(wú)論人臉怎么運(yùn)動(dòng)，或嘟嘴，或張嘴，或大笑，或沮喪，屏幕中的“自己”都能實(shí)時(shí)呈現(xiàn)出一樣的狀態(tài)，且沒有任何遲滯感。同時(shí)，在3D虛擬形象生成與互動(dòng)的基礎(chǔ)上，F(xiàn)aceUnity還提供不同維度的“捏臉”服務(wù)，換臉型、眼型、嘴型、鼻型不再話下，換發(fā)型、胡子、眼睛、帽子、衣服更是選擇多多，兼具科技感與趣味性。

此外，該產(chǎn)品還自帶AR濾鏡，并支持單人合影、多人合影和動(dòng)畫場(chǎng)景，眼看著屏幕中的“自己”一會(huì)置身山水間熱情舞蹈，一會(huì)又跑到集裝箱前蹦蹦跳跳，記者差點(diǎn)笑到臉僵。

在SIGGRAPH現(xiàn)場(chǎng)親眼見證一鍵生成3D虛擬形象的高科技，讓人不由得地感嘆：3D虛擬世界真的要來了!

　　和“虛擬形象”對(duì)話

當(dāng)記者還沉浸在“虛擬形象”的互動(dòng)體驗(yàn)中時(shí)，旁邊的“Alice”早已與一位小哥聊得火熱了。要不是看到屏幕上方有英文引導(dǎo)問題，記者還以為是小哥開著視頻在與自己的“女朋友”聯(lián)絡(luò)感情呢!

“Alice”是一位長(zhǎng)相甜美、專業(yè)十足的問答助手，記者現(xiàn)場(chǎng)與她進(jìn)行了多輪對(duì)話，她都回答得很流暢，且面部與口型都極為吻合，毫無(wú)違和感，就像在與真人對(duì)話一樣。

談及“Alice”的實(shí)現(xiàn)原理，F(xiàn)aceUnity的工作人員立即就滔滔不絕了。這是基于FaceUnity自主研發(fā)的另一項(xiàng)新技術(shù)——STA(Speech-to-Animation)。這一技術(shù)結(jié)合了人工智能與計(jì)算機(jī)圖形學(xué)，可以實(shí)時(shí)解算語(yǔ)音對(duì)應(yīng)的發(fā)音口型，并精細(xì)驅(qū)動(dòng)虛擬形象面部表情，實(shí)現(xiàn)動(dòng)畫的音畫同步呈現(xiàn)。

有了這一技術(shù)，F(xiàn)aceUnity成功打造了一批卡通版和真人版的虛擬主播、虛擬助手、虛擬客服、虛擬偶像等一系列應(yīng)用場(chǎng)景。在現(xiàn)場(chǎng)，工作人員拿起一臺(tái)手機(jī)，向記者一一介紹起了不同形象的應(yīng)用場(chǎng)景。

比如虛擬主播可以應(yīng)用在傳媒行業(yè)，幫助該行業(yè)提高視頻制作效率，告別傳統(tǒng)視頻制作方式，迎來“只需輸入文本或語(yǔ)音就能實(shí)時(shí)生成播報(bào)視頻”的新時(shí)代;

比如，虛擬客服可以應(yīng)用至醫(yī)療行業(yè)，幫助該行業(yè)告別冷冰冰“你打字我回答”的服務(wù)方式，迎來“虛擬醫(yī)生7x24小時(shí)全天候線上線下專業(yè)咨詢”的全新服務(wù)方式;

比如，虛擬助手可以應(yīng)用至交通行業(yè)，幫助該行業(yè)告別“只問其聲不見其人”的車載系統(tǒng)，迎來“既見其人更知其好”的全新駕乘體驗(yàn)。

……

與“Alice”對(duì)話越久，記者越深刻地覺得，如果各行各業(yè)都能擁有一批獨(dú)具個(gè)性且專業(yè)十足的“員工”，那么人力成本高漲、缺乏人性化服務(wù)體驗(yàn)、難以滿足不同用戶個(gè)性化需求等行業(yè)“共病”，終有一天將會(huì)消失在歷史的長(zhǎng)河中。

用3D內(nèi)容“造夢(mèng)”

除了讓3D虛擬形象走入各行各業(yè)外，F(xiàn)aceUnity還能用3D技術(shù)創(chuàng)造出什么不一樣的體驗(yàn)?zāi)?

看到展臺(tái)左邊的宣傳視頻，記者心中有了底。上一秒美顏，下一秒玩轉(zhuǎn)貼紙，再一回頭，又換上萌萌噠的小黃鴨“腦袋”……這些可不就是當(dāng)下潮爆的人臉特效玩法嗎?

FaceUnity工作人員說，這些都是基于人臉檢測(cè)與跟蹤技術(shù)的AR特效。表情識(shí)別、背景分割、手勢(shì)識(shí)別、海報(bào)換臉、音樂濾鏡等，足足有16款之多，分分鐘打破了記者對(duì)人臉特效玩法的認(rèn)知局限。

作為一名天然愛美又忙得難以收拾自己的女性，記者在體驗(yàn)了各款人臉特效后，最愛的還是美妝。因?yàn)?，它的效果真的太自然了。只要打開手機(jī)，切換美妝頁(yè)面，記者就瞬間完成了上妝，柳葉眉、丹鳳眼、雙色眼影、貓眼眼線……要多“性感”就有多性感。

如果不喜歡“性感”妝，還有硬漢、甜美、鄰家、歐美、嫵媚等各款?yuàn)y容可隨意切換，足足有30款之多，這簡(jiǎn)直就是21世紀(jì)人類的必備“神器”!一個(gè)月，每天妝容都不重樣，想想都美好，有沒有!

記者了解到，目前FaceUnity還在開發(fā)新的人臉AR特效，且已著手在開發(fā)更多酷炫的各類特效玩法。相信未來，以3D內(nèi)容為載體，F(xiàn)aceUnity一定可以創(chuàng)造出更多有趣的玩法、新奇的體驗(yàn)，及更美好的3D虛擬世界。

　　FaceUnity—— 讓創(chuàng)作更簡(jiǎn)單，讓交互更自然

FaceUnity專注于智能圖形技術(shù)的創(chuàng)新與應(yīng)用，為移動(dòng)互聯(lián)網(wǎng)、VR/AR等領(lǐng)域提供3D內(nèi)容生成與互動(dòng)的行業(yè)解決方案，致力于好萊塢特效技術(shù)在消費(fèi)級(jí)應(yīng)用中的普及。FaceUnity的

FaceUnity目前擁有增強(qiáng)現(xiàn)實(shí)視頻SDK(AR Video SDK，包括表情識(shí)別/人臉AR濾鏡和道具/視頻美顏/視頻分割/手勢(shì)識(shí)別等)、虛擬化身創(chuàng)建服務(wù)PTA(Photo-to-Avatar，從一張照片生成虛擬形象/自主裝扮虛擬形象/與虛擬形象互動(dòng)等)、語(yǔ)音動(dòng)畫合成引擎STA(虛擬主播/虛擬客服/虛擬助手等)等多款產(chǎn)品，覆蓋了短視頻、直播、社交、新零售、智能家居、廣告、醫(yī)療、媒體等多個(gè)領(lǐng)域，已服務(wù)400余家客戶。

FaceUnity研發(fā)團(tuán)隊(duì)由業(yè)內(nèi)頂級(jí)科學(xué)家領(lǐng)銜，在3D圖形、計(jì)算機(jī)視覺、VR/AR領(lǐng)域擁有20余年研發(fā)經(jīng)驗(yàn)。2018年，F(xiàn)aceUnity與浙江大學(xué)合作成立“浙江大學(xué)—相芯科技智能圖形計(jì)算聯(lián)合實(shí)驗(yàn)室”，深耕智能圖形技術(shù)創(chuàng)新，培養(yǎng)高端人才，形成對(duì)產(chǎn)業(yè)發(fā)展的引導(dǎo)力。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。