FBEC2023 | 七鑫易維 副總裁路偉成：XR眼球追蹤的幾大關(guān)鍵落地場景

FBEC2023未來商業(yè)生態(tài)鏈接大會(huì)暨第八屆金陀螺獎(jiǎng)于2023年12月8日在深圳福田大中華喜來登酒店6樓盛大召開，本次大會(huì)由廣東省游戲產(chǎn)業(yè)協(xié)會(huì)、深圳市互聯(lián)網(wǎng)文化市場協(xié)會(huì)指導(dǎo)，陀螺科技主辦，中國光谷、游戲陀螺、VR陀螺、陀螺財(cái)經(jīng)、陀螺電競聯(lián)合主辦。

大會(huì)以“合力共生·韌者行遠(yuǎn)”為大會(huì)主題，以具有行業(yè)前瞻洞察的“航行者”為視角，破冰之旅為主線，關(guān)注AI、元宇宙、XR、游戲、電競、數(shù)字經(jīng)濟(jì)等科技與互聯(lián)網(wǎng)前沿領(lǐng)域，全方位呈現(xiàn)科技前沿成果，聚焦時(shí)代與商業(yè)熱點(diǎn)議題，探討新科技、新商業(yè)、新模式的未來價(jià)值，與真正的勇者共赴劇變革新下的凜冬破冰之旅！

主會(huì)場C：元生未來，共鏈價(jià)值——2023全球元宇宙產(chǎn)業(yè)核心技術(shù)論壇，邀請到七鑫易維 副總裁路偉成帶來主題為“XR眼球追蹤的關(guān)鍵點(diǎn)”的精彩演講。路偉成認(rèn)為，XR眼球追蹤的幾大關(guān)鍵落地場景有：注視點(diǎn)渲染、瞳距（IPD）調(diào)節(jié)、表情追蹤（+反向透視）、交互、身份識(shí)別、眼動(dòng)數(shù)據(jù)分析以及虛實(shí)對(duì)齊與消除VAC。

以下為演講實(shí)錄：

大家，下午好！我是七鑫易維的路偉成，今天和大家分享的主題是XR眼球追蹤的幾個(gè)關(guān)鍵問題，集中闡述XR眼球追蹤的應(yīng)用場景。

XR眼球追蹤的時(shí)代已經(jīng)到來，全球領(lǐng)軍消費(fèi)電子公司蘋果，第一款XR產(chǎn)品Vision Pro就集成了眼球追蹤。而除了蘋果之外，主流的XR品牌幾乎全部推出了集成眼球追蹤的XR型號(hào)，如Meta Quest Pro、PICO 4 Pro等。具體來看，XR眼球追蹤的落地場景有：

（1）注視點(diǎn)渲染。加了眼動(dòng)的VR，基本都會(huì)加注視點(diǎn)渲染。Vision Pro發(fā)布，VR、MR的分辨率都向蘋果看齊，超高分辨率意味著渲染壓力非常大，而注視點(diǎn)渲染則可以大幅度降低渲染壓力，如《Red Matter 2》登陸Quest Pro后，像素密度比之前提升了33%（等同于視覺中心的像素?cái)?shù)量增加了77%），文字清晰度、光影和色彩表現(xiàn)足夠優(yōu)秀，突破了Quest頭顯的圖形極限。再看PSVR2使用動(dòng)態(tài)照明和陰影等高要求的圖形質(zhì)量下，渲染和計(jì)算跟蹤的幀時(shí)間從33.2ms下降到14.3ms，運(yùn)行一個(gè)4K的飛船Demo演示時(shí)，CPU線程性能和GPU幀時(shí)間分別快了32%和14%。最后總結(jié)下來就是注視點(diǎn)渲染提高GPU幀數(shù)達(dá)2.5倍，注視點(diǎn)渲染+眼球追蹤可提高3.6倍，由此注視點(diǎn)渲染是剛需。

（2）IPD調(diào)節(jié)。加了眼動(dòng)的VR基本都加了IPD，Vision Pro也加了，但是在發(fā)布會(huì)上并沒有提。用戶感知不到的東西，蘋果就不會(huì)提，感知不到的技術(shù)是最好的技術(shù)，就像空氣一樣使用它就可以。七鑫易維早在2018跟歌爾合作的時(shí)候，就推出了自動(dòng)的IPD的調(diào)節(jié)。

（3）表情追蹤。目前的落地情況，只要加了眼動(dòng)，肯定都能實(shí)現(xiàn)表情追蹤，Vision Pro還額外加了個(gè)反向透視。七鑫易維很早就實(shí)現(xiàn)了通過眼球追蹤進(jìn)行表情追蹤的功能，可以把人的表情，眼部表情都表現(xiàn)出來。這已經(jīng)是落地的場景，在VR的社交類應(yīng)用或者是遠(yuǎn)程會(huì)議等都用得到。

（4）身份識(shí)別和認(rèn)證。目前用得比較少，僅Vision Pro和HoloLens2用了，運(yùn)用虹膜識(shí)別作為身份識(shí)別的方式。虹膜識(shí)別和眼球追蹤實(shí)際上是可以統(tǒng)一到一起的，因?yàn)橛布捎玫氖且惶?。虹膜識(shí)別是我們認(rèn)為目前最合適XR身份認(rèn)證的方式。為什么會(huì)這么說？主要因?yàn)楹缒ぷR(shí)別已經(jīng)有眼球追蹤不需要額外加其他的套件。眼球追蹤是很好的活體識(shí)別方式，提升了虹膜識(shí)別的安全性，虹膜識(shí)別還能給眼球追蹤提供身份信息，當(dāng)切換用戶的時(shí)候可以自動(dòng)切換眼球追蹤的參數(shù)。這方面我們已與微信支付、創(chuàng)維XR推出了整體的虹膜識(shí)別和眼球追蹤的XR方案，預(yù)計(jì)年底或明年初可以實(shí)現(xiàn)量產(chǎn)。

（5）交互。幾年前我們就講，眼手口多模態(tài)自然交互是XR交互的未來，但在Vision Pro未發(fā)布前，大家都不相信。在蘋果看來，眼手口多模態(tài)自然交互，是繼鍵鼠交互、觸控交互之后的第三次交互范式大變革。眼睛除了用來做簡單的選擇之外，還有很多場景是適合的，比如做信息顯示、自動(dòng)滾屏、自動(dòng)縮放、自動(dòng)隱藏等。有了眼動(dòng)數(shù)據(jù)，可以展開很多想象，交互潛力會(huì)變得非常巨大。推薦一篇Meta的論文《基于眼動(dòng)追蹤的交互具有巨大潛力》

Leveling the Playing Field: A Comparative Reevaluation of Unmodified Eye Tracking as an Input and Interaction Modality for VR，感興趣的可以去看一看。

（5）眼動(dòng)數(shù)據(jù)分析。眼動(dòng)數(shù)據(jù)分析，可以挖掘用戶很多的心理信息、生理信息，可以用在廣告分析、用戶體驗(yàn)分析、用戶心理分析等。這可能是XR行業(yè)靠眼球追蹤掙錢最多的功能之一，只是在C端會(huì)慢一些，C端用眼動(dòng)分析不多。七鑫易維之前就做過VR看房的案例，用戶看到的是有顏色的，商家會(huì)看到用戶在什么地方看的注意力比較集中，什么地方?jīng)]有關(guān)注到，這對(duì)于商家來講可以挖掘的信息非常多。

除此之外，像虛實(shí)對(duì)齊被視為未來很快落地的場景，只是目前還沒有。但AR在這方面有很強(qiáng)的需求，AR常用的場景就是虛實(shí)融合，如導(dǎo)航，要在真實(shí)的路面上出現(xiàn)虛擬導(dǎo)航的軌跡，但是每一個(gè)人佩戴眼鏡的姿勢不確定，顯示的位置很可能就產(chǎn)生偏差，基本上很難100%的對(duì)齊，這就需要實(shí)時(shí)根據(jù)用戶眼睛的位置進(jìn)行調(diào)整，也就是需要眼球追蹤。其次就是消除VAC，這個(gè)依賴于變焦系統(tǒng)的成熟，現(xiàn)在變焦系統(tǒng)還沒有成熟，所以沒有落地的場景。但隨著變焦系統(tǒng)成熟，消除VAC就自然而然產(chǎn)生需求。

那么，Vision Pro的眼球追蹤和七鑫易維之前推的方案有什么不同呢？基本的路線是一樣唯一的不同是蘋果的堆料夠狠。當(dāng)然，也有代價(jià)，就是高功耗、高算力、高成本。我們也有類似的方案，預(yù)計(jì)原型機(jī)今年底或明年初會(huì)出來。

大家也會(huì)疑惑單眼單攝不能用了嗎？仍然具備高可用性，關(guān)鍵是眼球追蹤可用性不僅僅和本身性能相關(guān)，還和交互設(shè)計(jì)強(qiáng)相關(guān)。還有一個(gè)小問題，人眼數(shù)據(jù)是用戶生物特征數(shù)據(jù)，所以人們對(duì)于用戶隱私安全越來越重視，這是很關(guān)鍵的事情。據(jù)我了解，所有用戶認(rèn)證用到生物信息，都不可以在海外建數(shù)據(jù)庫，這涉及到國家安全的問題。剛才也有嘉賓講過，高科技領(lǐng)域我們要防止卡脖子，七鑫易維，無論是在硬件算法，還是軟件上，全部做到了自主可控，所以不存在卡脖子的問題。

七鑫易維成立于2009年，歷經(jīng)14年發(fā)展，在國內(nèi)的眼球追蹤市場已經(jīng)遙遙領(lǐng)先，目前在全球申請的專利數(shù)量將近600項(xiàng)，其中發(fā)明專利占到了2/3。

如上圖所示，這是七鑫易維已經(jīng)發(fā)布的一些產(chǎn)品，大家感興趣可以細(xì)聊。接下來，還會(huì)陸續(xù)有一些新的型號(hào)發(fā)布。

最后，總結(jié)一下：（1）注視點(diǎn)渲染、動(dòng)態(tài)超分和反畸變、瞳距調(diào)節(jié)將成為XR的基本功能；（2）表情追蹤作為社交強(qiáng)需求，將成為XR的基本功能；（3）虹膜識(shí)別將成為XR身份識(shí)別和認(rèn)證的最常用方式；（4）眼手口多模態(tài)自然交互將成為XR的交互趨勢；（5）眼球追蹤在XR上已經(jīng)成熟，具備高可用性；（6）眼球追蹤將成為XR的標(biāo)配，如果大家想要加眼球追蹤，找七鑫易維，謝謝！

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。