相芯科技亮相LiveVideoStackCon 2019，解讀AI+3D內(nèi)容互動(dòng)技術(shù)的新實(shí)踐

4月19-20日，專注于音視頻領(lǐng)域的多媒體技術(shù)峰會(huì)——LiveVideoStackCon在上海順利閉幕。本次大會(huì)以“技術(shù)開啟新視界”為主題，匯聚了全國音視頻技術(shù)的資深專家和從業(yè)者，圍繞畫質(zhì)評價(jià)與增強(qiáng)、服務(wù)端與架構(gòu)設(shè)計(jì)、前端與用戶端、音頻技術(shù)和解決方案等不同方向展開深入挖掘和探討，不斷拓展了音視頻技術(shù)的應(yīng)用場景和行業(yè)邊界。

在“解決方案”專場的主題演講中，相芯科技資深圖形引擎開發(fā)經(jīng)理蔡銳濤從音視頻內(nèi)容互動(dòng)技術(shù)、行業(yè)實(shí)踐及全鏈路人臉AR特效解決方案三個(gè)角度，全方位介紹了相芯科技內(nèi)容互動(dòng)技術(shù)在音視頻領(lǐng)域的新實(shí)踐，并展示了其豐富的AI+3D內(nèi)容生成與互動(dòng)的行業(yè)解決方案。

創(chuàng)新內(nèi)容互動(dòng)技術(shù)，20余款功能隨你挑

隨著經(jīng)濟(jì)社會(huì)加速發(fā)展，與互聯(lián)網(wǎng)一起成長起來的Z世代正在成為社會(huì)新的消費(fèi)主力。他們追求個(gè)性與自我，崇尚興趣至上，熱愛社交，渴望被關(guān)注，并將“虛擬”網(wǎng)絡(luò)世界當(dāng)成他們追求精神活動(dòng)的載體，從中尋求自我認(rèn)同和自我成長。

如何吸引他們的目光，抓住他們的需求，進(jìn)而助推音視頻行業(yè)發(fā)展？蔡銳濤從人臉內(nèi)容互動(dòng)技術(shù)切入，全面介紹了相芯科技通過技術(shù)提升內(nèi)容層次、豐富內(nèi)容趣味、拓展內(nèi)容邊界，從而幫助用戶有效提升內(nèi)容觸達(dá)率，大大強(qiáng)化了企業(yè)與用戶間的粘性。

（AI+3D內(nèi)容互動(dòng)新技術(shù)）

會(huì)上，蔡銳濤深入剖析了相芯科技的三款產(chǎn)品——NAMA、PTA、STA。這些產(chǎn)品基于不同的底層技術(shù)，為各類企業(yè)的內(nèi)容創(chuàng)造提供了更多可能。以NAMA產(chǎn)品線為例，經(jīng)過近3年的發(fā)展，已延伸出了美顏、貼紙、Animoji、背景分割、海報(bào)換臉等16項(xiàng)功能。其中，在美顏技術(shù)方面，相芯科技已擁有包含美顏、美妝、美型、濾鏡等在內(nèi)的一套完整的解決方案，并于不久前推出了主打質(zhì)感美顏的SDK包。

PTA（Photo-to-Avatar）是一項(xiàng)可以根據(jù)用戶上傳的自拍照片，生成與用戶相似且美觀的3D虛擬形象的服務(wù)。相芯科技的生成算法目前可以自動(dòng)匹配臉型、五官特征、頭發(fā)胡子、膚色唇色、眼睛等，生成和輸出與人像高度匹配的3D數(shù)字化身。且生成后，還支持用戶進(jìn)行捏臉調(diào)整，實(shí)時(shí)裝扮虛擬形象，及進(jìn)行實(shí)時(shí)表情驅(qū)動(dòng)。

STA（speech-to-animation）語音驅(qū)動(dòng)是相芯科技研發(fā)的一套驅(qū)動(dòng)虛擬形象嘴唇動(dòng)作與語音實(shí)時(shí)同步呈現(xiàn)的產(chǎn)品技術(shù)。這一技術(shù)在內(nèi)容動(dòng)態(tài)呈現(xiàn)和內(nèi)容制作兩方面有很好的落地場景，可為用戶提供一種內(nèi)容創(chuàng)作低門檻、體驗(yàn)更自然的語音人機(jī)交互方式。

“經(jīng)過近3年的發(fā)展，我們已積累了400+家B端用戶，SDK月均鑒權(quán)調(diào)用已超10億次。”蔡銳濤說，目前相芯科技的全鏈路人臉AR特效解決方案，已經(jīng)成為涵蓋內(nèi)容生成、內(nèi)容交互、內(nèi)容渲染的一個(gè)完整解決方案，可滿足各類用戶對AI+3D內(nèi)容創(chuàng)作的需求。

視頻社交成主流，SDK走向輕量化

近年來，在監(jiān)管收緊、技術(shù)迭代、消費(fèi)升級、人工智能應(yīng)用越來越廣的背景下，短視頻行業(yè)正在迎來一輪新的洗牌。如何在這一輪競爭中尋求突破口，為更多短視頻企業(yè)的發(fā)展賦能？以技術(shù)來撬動(dòng)內(nèi)容生產(chǎn)，滿足不同用戶的不同需求，是相芯科技一直以來的追求。

蔡銳濤指出，從今年初開始，市場上已出現(xiàn)了頭條多閃、聊天寶、馬桶MT等多個(gè)主打視頻社交的產(chǎn)品，陌生人社交或?qū)⒊蔀槟贻p一代的主流模式。而相芯科技早已瞄準(zhǔn)這一領(lǐng)域，并研發(fā)出了Avatar捏臉技術(shù)。

（動(dòng)圖）

這一SDK開發(fā)包首先具有輕量級的渲染引擎，提供多種材質(zhì)模板，可供客戶快速自定義渲染效果，且SDK包最小只有2.6M；其次，還支持用戶根據(jù)自己喜好對虛擬角色進(jìn)行捏臉、換裝、換發(fā)等，制作出一個(gè)和自己很像且更美觀的3D數(shù)字化身；最后，還提供內(nèi)容制作工具，方便讓客戶隨時(shí)做出想要的產(chǎn)品。

此外，針對模型道具制作過程中可能存在的運(yùn)行內(nèi)存問題，蔡銳濤表示，相芯科技研發(fā)了數(shù)據(jù)壓縮和模型優(yōu)化技術(shù)，力爭用最小的運(yùn)行內(nèi)存來實(shí)現(xiàn)用戶實(shí)時(shí)捏臉、驅(qū)動(dòng)虛擬形象等效果。以模型8000個(gè)頂點(diǎn)、40個(gè)捏臉維度為例，全部模型內(nèi)存占用最少需要458M，但經(jīng)過壓縮優(yōu)化后，相芯科技可將運(yùn)行內(nèi)存降至60M，讓絕大部分的設(shè)備都可以使用。

（音視頻處理SDK架構(gòu)）

“解決內(nèi)存問題后，為提高客戶美術(shù)制作效率，我們還為客戶提供了自動(dòng)模型生成工具，讓客戶可以一鍵生成表情動(dòng)作模型?！辈啼J濤強(qiáng)調(diào)，相芯科技一直希望能深入客戶的各類應(yīng)用場景，用技術(shù)幫助客戶解決問題，用產(chǎn)品賦能客戶發(fā)展，讓更多扎根于直播、短視頻、社交等領(lǐng)域的客戶創(chuàng)新變革，站上新起點(diǎn)，迎接新未來。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。