元宇宙亦是“看臉的世界”：Rokid全新技術(shù)成果讓你煥新而生

豆瓣評分高達(dá)8.6分的《元宇宙2086》一書，帶領(lǐng)讀者暢游了未來虛實(shí)共生的數(shù)字平行世界，并指引我們成為元宇宙網(wǎng)絡(luò)的創(chuàng)世居民。在那個虛實(shí)相融、亦真亦幻的新社會形態(tài)中，未來的我們開啟著與現(xiàn)在完全不同的“煥新人生”。

事實(shí)上，無論是在互聯(lián)網(wǎng)，還是在XR時(shí)代的元宇宙，人類始終是主角。唯一發(fā)生變化的，是展現(xiàn)個人主體的形式大相徑庭。在互聯(lián)網(wǎng)時(shí)代，我們是以一串或簡單或復(fù)雜的ID存在于網(wǎng)絡(luò)上。而在XR時(shí)代，我們活躍在元宇宙中的方式又會變得怎樣精彩紛呈？

就在6月23日，國內(nèi)專注于人機(jī)交互技術(shù)的知名產(chǎn)品平臺公司Rokid，帶來了一幅引人遐想的新畫卷。通過軟件產(chǎn)品演示分享會，Rokid從XR交互引擎、XR系統(tǒng)框架、XR創(chuàng)新應(yīng)用、AI算法應(yīng)等層面，相繼演示數(shù)字人、手勢交互、YodaOS國際化、全息空間2.0、Open XR、MSpace、Light(WebXR)、AR導(dǎo)航、6DoF空間聲場技術(shù)、全新端到端ASR算法等最新成果。

在全新前沿技術(shù)成果的支撐下，我們每個人都能在元宇宙中煥新而生，開啟一場新冒險(xiǎn)。為XR時(shí)代的交互方式畫下新藍(lán)圖的Rokid技術(shù)人er們，顯然在打造出通往新未來的通行證。

發(fā)布3D數(shù)字人技術(shù)

讓用戶“捏”個活靈活現(xiàn)的自己

無論是在怎樣的世界載體，人們追求個性的訴求始終存在。如果說互聯(lián)網(wǎng)時(shí)代展現(xiàn)個性只能用頭像、ID等方式，那么在元宇宙中，人們將為自己定制一個獨(dú)一無二的形象。為了滿足這一訴求，本次軟件產(chǎn)品演示分享會帶來了Rokid數(shù)字人最新技術(shù)成果——豐富可擴(kuò)展的3D數(shù)字人模型和數(shù)字人引擎。

通過不同設(shè)計(jì)的眉毛、眼睛、鼻子、嘴巴、臉型以及裝扮，Rokid 3D數(shù)字人模型支持用戶通過“捏臉”和換妝的方式，定制專屬自己的形象。

目前，Rokid數(shù)字人模型已基本滿足亞洲用戶群體，未來的數(shù)字人模型將以更多五官分類組合、膚色、發(fā)型、發(fā)色以及不同地域風(fēng)格的服裝等，讓不同國家和地區(qū)的用戶都可以擁有專屬數(shù)字形象。

值得一提的是，通過音素識別解決方案打造的數(shù)字人引擎，在無需額外的攝像頭捕捉面部的情況下，僅通過音頻就能識別出人講話的口型和情緒狀態(tài)，實(shí)現(xiàn)聲音和表情的高度同步，完整呈現(xiàn)用戶的喜怒哀樂，讓數(shù)字人形象更加靈活生動，可被廣泛應(yīng)用于游戲、社交、商超、公共場所導(dǎo)覽等場景。

未來，Rokid數(shù)字人技術(shù)不僅將以SDK的方式向行業(yè)開發(fā)者開放，同時(shí)還將登錄Rokid Air AR智能眼鏡，支持用戶在設(shè)置界面定制自己的專屬形象，Rokid推出的多人在線協(xié)同應(yīng)用——MSpace，也將接入數(shù)字人技術(shù)，讓用戶實(shí)現(xiàn)更好的交互體驗(yàn)。

首創(chuàng)單目RGB攝像頭

實(shí)現(xiàn)2D、3D手勢交互

目前主流的AR眼鏡一般都用ToF或多目攝像頭來實(shí)現(xiàn)手勢交互，但Rokid為面向未來的XR設(shè)備打造的方案僅通過單顆RGB攝像頭和高幀率IMU傳感器的VIO方法獲得穩(wěn)定性好、精確度高的6DoF追蹤效果，而且基于同一顆攝像頭相機(jī)共享數(shù)據(jù)，還可以用于完成自然、靈動的手勢交互體驗(yàn)。

單目2D RGB手勢交互演示

本次軟件產(chǎn)品演示分享會，Rokid技術(shù)團(tuán)隊(duì)就演示了全新升級的單目2D RGB手勢交互技術(shù)，并帶來了單目3D RGB手勢交互技術(shù)的最新成果。其中，單目2D RGB手勢交互實(shí)現(xiàn)了雙手聯(lián)動、虛空觸發(fā)以及抬拉拖拽等互動，實(shí)現(xiàn)了更高的靈活度和更自然的交互。

單目3D RGB手勢交互演示

基于深度學(xué)習(xí)算法和大量先驗(yàn)數(shù)據(jù)，使得使用單目RGB來重建3D Hand成為了可能。Rokid自研的單目3D手勢算法能在移動端實(shí)時(shí)重建手部姿態(tài)參數(shù)，包括手部6DoF，手部關(guān)節(jié)點(diǎn)26DoF，以及Hand Mesh信息，為AR的手勢交互提供良好的算法基礎(chǔ)。

MSpace再升級

Light(WebXR)、AR導(dǎo)航原生應(yīng)用發(fā)布

在打造強(qiáng)有力的XR交互引擎的同時(shí)，Rokid技術(shù)團(tuán)隊(duì)還帶來了Light(WebXR)、AR導(dǎo)航原生應(yīng)用，并對MSpace進(jìn)行了重要更新。

① Light(WebXR)

實(shí)現(xiàn)Web端XR開發(fā)者和應(yīng)用的輕松接入

市面上豐富的云游戲庫，該如何通過Rokid AR玩起來？如何戴著Rokid AR看電影、看小說、逛論壇、瀏覽網(wǎng)頁？輕量級內(nèi)容聚合平臺——Light(WebXR)重磅亮相，一站式解決用戶多種需求。

未來，Light(WebXR)將登錄Rokid Air應(yīng)用商店，為用戶帶來更多Web端XR應(yīng)用和資源。同時(shí)，Light(WebXR)支持了標(biāo)準(zhǔn)的WebXR API，歡迎更多Web端XR開發(fā)者參與到AR生態(tài)建設(shè)中。

② MSpace

通過虛擬化身+空間聲場技術(shù)，打造更真實(shí)的臨場感

作為XR時(shí)代的原生應(yīng)用，MSpace具備屏幕共享、3D內(nèi)容協(xié)作、虛擬分身等核心能力。在此次軟件產(chǎn)品演示分享會中，Rokid技術(shù)團(tuán)隊(duì)帶來了融合聲場渲染、虛擬分身驅(qū)動、空間協(xié)同、全息渲染等技術(shù)的升級版MSpace，實(shí)現(xiàn)了實(shí)時(shí)音頻驅(qū)動虛擬分身的口型、表情與動作，讓虛擬分身更形象生動。同時(shí)，升級版MSpace還支持空間中公有物體同步操作、私有物體隨心操作，虛擬物體準(zhǔn)確放置并能實(shí)現(xiàn)身臨其境的光影效果。

③AR導(dǎo)航

更臨場感的導(dǎo)航體驗(yàn)，迷路星人再也不迷糊

手機(jī)導(dǎo)航不方便，傳統(tǒng)的2D圖標(biāo)+單眼AR導(dǎo)航，不僅視角受限，提示還不夠明顯，AR導(dǎo)航急需革新！

在此次軟件產(chǎn)品演示分享會中，Rokid技術(shù)團(tuán)隊(duì)就演示了圍繞立體感、臨場感和沉浸感為用戶打造的身臨其境、指哪去哪的AR導(dǎo)航體驗(yàn)。

相較于傳統(tǒng)單眼模式，雙目AR導(dǎo)航會讓視覺在一定程度上減少和現(xiàn)實(shí)的割裂感，另外這款應(yīng)用還采用了近大遠(yuǎn)小的空間透視關(guān)系和全局實(shí)時(shí)光照投影，能大幅度提升使用者的沉浸感。

關(guān)于導(dǎo)航用戶最擔(dān)心的精度問題，Rokid AR導(dǎo)航通過采用高精度的地圖、GPS定位和磁力計(jì)校正來提高導(dǎo)航的精度。未來，Rokid AR導(dǎo)航還將加入SLAM技術(shù)和地理信息系統(tǒng)平臺，為用戶搭建一個真正的虛實(shí)結(jié)合的元宇宙出行平臺。

高能AI算法

一場關(guān)于技術(shù)變革的深度較量

在高能體驗(yàn)的背后，都離不開強(qiáng)有力的算法支持。Rokid算法工程師的日?？偸窃跇O致中追求革新，落地人們關(guān)于元宇宙的一切暢想。此次，Rokid就公開發(fā)布包括Atauro Audio(6DoF空間聲場)以及全新端到端ASR算法等最新成果，從聲、形等多方面推動AR和AI技術(shù)革新。

①Atauro Audio(6DoF空間聲場)

讓耳朵也進(jìn)入元宇宙

在眼鏡之后，耳朵也要進(jìn)入元宇宙啦！通過6DoF空間聲場技術(shù)，Rokid正在實(shí)現(xiàn)關(guān)于“聲臨其境”的變革。6DoF空間聲場是聲音在三維領(lǐng)域的體現(xiàn)，不同于傳統(tǒng)雙聲道、立體音帶來的聽覺體驗(yàn)，6DoF空間聲場技術(shù)可以在混合現(xiàn)實(shí)中模擬聲源與人耳之間因空間位置變化、有無遮擋物等帶來的聲音強(qiáng)弱與方向的變化，從而讓AR眼鏡為用戶帶來更具臨場感的聽覺體驗(yàn)。

現(xiàn)在來體驗(yàn)一下：

6DoF空間聲場技術(shù)將會集成到全新升級版的YodaOS-XR操作系統(tǒng)中，作為YodaOS-XR操作系統(tǒng)的基礎(chǔ)能力供行業(yè)開發(fā)者們進(jìn)行調(diào)用。同時(shí)，Rokid還計(jì)劃推進(jìn)更多應(yīng)用于AR眼鏡的特殊音效的開發(fā)，如環(huán)繞與微重低音的高保真音效等，以高效易用的SDK讓開發(fā)者真正實(shí)現(xiàn)即拿即用。

②全新端到端ASR算法

實(shí)現(xiàn)從坐火車到乘飛機(jī)的升級

Rokid語音技術(shù)不斷升級，通過全新端到端語音技術(shù)，在原有基礎(chǔ)上實(shí)現(xiàn)字錯率降低30%。

同時(shí)，本次升級不僅僅是傳統(tǒng)意義上的優(yōu)化，而是實(shí)現(xiàn)了從0到1的工業(yè)級語音識別技術(shù)革新和更簡單的算法架構(gòu)、更快的訓(xùn)練速度、更簡單的接口、更容易的調(diào)試方式、更低的資源消耗，達(dá)到真正的“穩(wěn)，準(zhǔn)，快”效果。

未來，Rokid端到端語音技術(shù)還將在小語種、垂直領(lǐng)域定制賦能AR行業(yè)等方面不斷形成新的突破，值得期待。

系統(tǒng)框架再升級

更國際化、更開放、更高適配性

在此次軟件產(chǎn)品演示分享會中，Rokid技術(shù)團(tuán)隊(duì)還帶來了全新升級的系統(tǒng)框架，包括多國語言、全息空間2.0、OpenXR標(biāo)準(zhǔn)等，讓Rokid YodaOS-XR操作系統(tǒng)更加強(qiáng)大。

其中，Rokid YodaOS-XR操作系統(tǒng)國際化再進(jìn)一步，中、英、德、俄、西、葡、韓、日、意、法、馬來、阿拉伯語等多種語言即將發(fā)布，進(jìn)一步助力Rokid全球業(yè)務(wù)的持續(xù)推進(jìn)！

西班牙語演示

Rokid全息空間1.0也升級到了2.0版本。相較于1.0版本的頭控3DoF、眼鏡中3D展示、語音識別技術(shù)三個交互方面探索，全息空間2.0實(shí)現(xiàn)了統(tǒng)一的3D物體控制框架，能對虛擬空間中的模型進(jìn)行移動、旋轉(zhuǎn)和縮放操作，從而使AR全息化體驗(yàn)更強(qiáng)。這一能力，Rokid原生應(yīng)用MSpace已直接移植，為MSpace遠(yuǎn)程協(xié)同空間添加更富有樂趣的全息模型。

除了3D物體控制框架，全息空間2.0的多模態(tài)交互方式還由虛擬控制器+SLAM+空間音頻構(gòu)成，可以為用戶帶來更強(qiáng)的臨場感。值得一提的是，全息空間2.0僅通過一個RGB攝像頭開發(fā)完成，實(shí)現(xiàn)了性能與成本的高度平衡。

在技術(shù)不斷進(jìn)步的同時(shí)，YodaOS-XR操作系統(tǒng)在宣布全面支持OpenXR標(biāo)準(zhǔn)后，行業(yè)合作和落地應(yīng)用也取得了突破性進(jìn)展。在不久前，Rokid與行業(yè)主流3D引擎 Cocos 達(dá)成戰(zhàn)略合作，推動OpenXR標(biāo)準(zhǔn)全面落地?；贠penXR標(biāo)準(zhǔn)打造的AR示例游戲《幽靈射手》也將登錄Rokid Air應(yīng)用商店，這也是Rokid YodaOS-XR操作系統(tǒng)宣布全面支持OpenXR標(biāo)準(zhǔn)以來，首款基于此標(biāo)準(zhǔn)接入的應(yīng)用。

基于OpenXR標(biāo)準(zhǔn)，Rokid將與更多行業(yè)開發(fā)者、游戲引擎公司達(dá)成合作，共同催動內(nèi)容創(chuàng)作者的產(chǎn)出，為用戶提供更為良好的內(nèi)容環(huán)境，真正實(shí)現(xiàn)雙贏。

技術(shù)的持續(xù)革新，延續(xù)著產(chǎn)品的生命力。Rokid技術(shù)工程師們對極致技術(shù)的追求，正在讓更自然的AR交互體驗(yàn)變成現(xiàn)實(shí)。未來，Rokid將持續(xù)把最新的交互和技術(shù)融入操作系統(tǒng)YodaOS-XR中，打造全新的AR體驗(yàn)。在奔向AR未來的旅途中，讓我們一起期待Rokider為行業(yè)開發(fā)者以及用戶創(chuàng)造的驚喜！

生成海報(bào)

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點(diǎn)，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。