大家好，我是表情逼真、口型自然的火山引擎虛擬數字人
我會說中文、英語、日語、法語十多個語種以及粵語、重慶話、四川話等十多種方言
更重要的一點，現(xiàn)在僅用5-10分鐘視頻，你就可以擁有一個自己的數字分身，大大降低數字人的制作成本
如今在金融、汽車、傳媒等多個核心領域都活躍著我的身影……
在2023春季火山引擎FORCE原動力大會上，火山引擎正式發(fā)布“善聽”、“會說”、“能想”的虛擬數字人創(chuàng)新產品。作為該產品的技術支持，火山語音長期積累了成熟的語音交互技術：在語音識別方面，團隊通過業(yè)內領先的端到端語音識別模型，以及深耕金融、汽車、泛互等行業(yè)所積累的數據經驗，在數十個領域中與真實場景數據反饋下字準均可達到 92% 以上。
此外在領先的端到端語音合成技術加持下，團隊的數字人產品不但會說十多種外語及方言，例如英語、日語、粵語、東北話、重慶話等，還具有開心、驚訝、憤怒等豐富的情感演繹能力，并可通過預測來控制重音、停頓，細粒度還原且對象感極強，為用戶提供更有溫度的服務。“我們通過使用行業(yè)領先的非自回歸模型的唇形生成網絡，合成與輸入文本或語音完全匹配的唇形，準確率高達98.55%;基于創(chuàng)新的Motion Graph技術，數字人可以輕松做到毫秒級動作切換延遲且自然無感知。”團隊表示。
重要的一點，目前產品已實現(xiàn)快速復刻數字分身，僅需5-10分鐘視頻，就可1:1還原真人。眾所周知，數字分身是一種較低成本定制虛擬數字人的解決方案，再結合聲音復刻就可快速實現(xiàn)形象與聲音的近乎完美還原，并可落地在內容生產、視頻直播、車載環(huán)境等諸多場景中。為了能夠低成本在本地實現(xiàn)定制，火山語音團隊積累了近百小時的多人訓練數據用于base模型的訓練，使用5-10分鐘的小數據量就可在該模型上實現(xiàn)精準的面部運動還原，唇形準確率高達98.6%，整體自然度MOS評測可達3.9。
在火山語音的“AI虛擬員工解決方案”支持下，火山引擎目前已建立了包括2D、3D卡通和3D超寫實在內的虛擬數字人產品矩陣。從場景適配出發(fā)，包括“播報型數字人”和“交互型數字人”兩種類型，專注播報、交互、直播3大核心場景，面向金融、大消費、泛互等行業(yè)提供涵蓋“金融客服”、“智慧導覽”、“智能助理”、“虛擬直播”等場景細分解決方案，為用戶帶來全新的互動服務和便捷體驗。
2022年6月，火山引擎虛擬人數字平臺已獲得信通院首批數字人系統(tǒng)基礎能力認證。近日火山語音首次參與“實時高逼真孿生數字人關鍵技術研發(fā)與應用示范”項目建設，憑借業(yè)內優(yōu)勢的AI語音技術以及全棧語音產品解決方案能力，參與到該項目課題三“實時高保真孿生數字人通用開發(fā)平臺”的建設中，并與江南游戲工作室合作，通過整合交互理解、智能對話管理、智能驅動三大模塊，構建支持定制化并適用于多樣場景的數字人智能“對話”系統(tǒng)，實現(xiàn)多模態(tài)交互對話。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
