網(wǎng)易互娛AI Lab奪取CVPR2021 3D人臉重建挑戰(zhàn)賽冠軍

近日，第三十四屆國際計算機視覺頂級會議CVPR 2021 (Conference on Computer Vision and Pattern Recognition) 舉辦的多角度圖片3D人臉重建競賽公布了最終成績，網(wǎng)易互娛AI Lab提出的多視角重建方案在所有評價指標上均排名第一，擊敗了來自OPPO研究院，虎牙AI Lab，清華大學，北京大學，中科院自動化所等企業(yè)和高校的246個計算機視覺團隊，一舉斬獲大賽冠軍。

 近日，計算機視覺頂級會議CVPR 2021舉辦的PIC Challenge AI挑戰(zhàn)賽成績出爐。網(wǎng)易互娛AI Lab從眾多參賽隊伍中脫穎而出，獲得了多視角圖片3D 人臉重建競賽的冠軍。這也是網(wǎng)易互娛AI Lab繼IJCAI 2020 3D AI挑戰(zhàn)賽獲得3D物體重建和3D物體檢索雙料冠軍后又一次摘得三維視覺領域的國際比賽冠軍，體現(xiàn)了網(wǎng)易在3D 視覺領域深厚的技術積累和領先的技術實力。

 CVPR是國際計算機視覺的三大頂級學術會議之一，每年都會吸引來自全球的一流學者、研究人員和開發(fā)者參加，共同探討計算機視覺領域的前沿問題。3D人臉重建則是3D計算機視覺研究的重要領域，在人臉識別，AR//VR等領域有著廣泛的應用。本次CVPR 2021 多角度圖片3D人臉重建競賽的主要目標是通過多張不同角度獲得的人臉圖像，重建出人臉的106個關鍵點。

 本次比賽以人臉關鍵點的NME，AUC (@0.08)，F(xiàn)ailure rate (@0.08)作為評測指標。訓練數(shù)據(jù)集包含5204個人臉模型，共15612張多視角人臉圖像，其中不同的人臉模型涵蓋了多達25種不同的表情，多表情數(shù)據(jù)極大提高了三維人臉重建的難度，給予參賽選手巨大的挑戰(zhàn)。

針對本次比賽的難點，網(wǎng)易互娛AI Lab提出了基于孿生網(wǎng)絡的端到端模型架構。采用多視角圖像的進行三維重建增強，并設計了自適應權重的NME損失函數(shù)以適應多種不同表情的三維人臉關鍵點回歸，同時利用空間對稱增廣的三維數(shù)據(jù)增強手段進行數(shù)據(jù)擴增，另外還通過設置三維平均關鍵點臉模作為先驗信息以進行高精度的多表情三維人臉關鍵點擬合，最終在競賽的三個評測指標都取得了領先。

目前，3D視覺在人工智能的領域里多用于3D重建（如人臉，人體等的重建）、場景理解構建等任務中。網(wǎng)易互娛AI Lab近年來在3D視覺領域持續(xù)發(fā)力，不斷在游戲制作中探索落地3D視覺技術，已將人臉表情捕捉、視頻人體動捕、人臉融合、人臉風格化重建等技術應用在各個游戲中，降低了資源的制作成本，豐富了產(chǎn)品游戲體驗。

網(wǎng)易互娛AI Lab成立于2017年，隸屬于網(wǎng)易互動娛樂事業(yè)群，在廣州、杭州、上海均有分部，是游戲行業(yè)領先的人工智能實驗室。實驗室致力于計算機視覺、語音和自然語言處理，以及強化學習等技術在游戲場景下的的研究，應用和落地，旨在通過AI技術助力互娛旗下熱門游戲及產(chǎn)品的技術升級，目前技術已應用于網(wǎng)易互娛旗下多款熱門游戲，如《夢幻西游》、《一夢江湖》、《天下3》、《陰陽師》、《第五人格》、《哈利波特—魔法覺醒》等等。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。