眼耳鼻舌身意，嚴(yán)肅地聊一聊元宇宙的“技術(shù)拼圖”

原標(biāo)題：眼耳鼻舌身意，嚴(yán)肅地聊一聊元宇宙的“技術(shù)拼圖”

元宇宙太太太火了，以至于還沒(méi)來(lái)得及認(rèn)真聊一聊技術(shù)本身，各種炒房團(tuán)、割韭菜、融資潮、付費(fèi)課……就紛至沓來(lái)，我看不懂但大受震撼。

吃多了瓜，頗有一種“累了毀滅吧”的虛無(wú)感。不過(guò)，元宇宙的技術(shù)體系，其實(shí)還有很多值得探討的地方。

用美國(guó)科技評(píng)論家Benedict Evans的話來(lái)說(shuō)，“元宇宙”這個(gè)新詞，描述了一組明顯不相關(guān)的趨勢(shì)，將它們概念化并捆綁成一個(gè)單一的敘事。元宇宙概念上市公司 Roblox 的定義中，元宇宙應(yīng)具備身份、朋友、沉浸感、低延遲、多元化、隨地、經(jīng)濟(jì)系統(tǒng)、文明等八大要素。每一種還包含著一連串解釋。

模糊且抽象的概念，讓元宇宙看起來(lái)無(wú)所不包，又說(shuō)不清楚，給渾水摸魚留下了余地。不過(guò)，也有不少技術(shù)方向是扎扎實(shí)實(shí)、值得長(zhǎng)期投入、對(duì)人類社會(huì)來(lái)說(shuō)意義非凡的。

所以，我們決定還是嚴(yán)肅地聊一聊支撐元宇宙的技術(shù)本身。

元宇宙到底是什么？一個(gè)共識(shí)是，足夠真實(shí)的“虛擬世界”。

無(wú)論是1981年美國(guó)數(shù)學(xué)家和計(jì)算機(jī)專家弗諾·文奇在小說(shuō)《真名實(shí)姓》中構(gòu)想的虛擬世界，還是普遍認(rèn)為1992年“元宇宙”一詞誕生的科幻小說(shuō)《雪崩》中，與真實(shí)世界平行的虛擬空間；2003年宇宙學(xué)家保羅·戴維斯（Paul Davies）提出的“無(wú)限的虛擬多元宇宙塔”，抑或是Facebook的扎克伯格計(jì)劃用VR/AR復(fù)刻的數(shù)字場(chǎng)景，本質(zhì)上都指向了——模擬現(xiàn)實(shí)。

“硅谷鋼鐵俠”埃隆·馬斯克（Elon Musk）也在一檔播客節(jié)目中提出，未來(lái)游戲?qū)⑴c現(xiàn)實(shí)無(wú)法區(qū)分，人類將處于模擬之中，你不妨稱它們?yōu)楝F(xiàn)實(shí)，或者也可以稱它們?yōu)槎嘣钪妗?/p>

元宇宙的載體與內(nèi)容，最終都要能夠模擬現(xiàn)實(shí)。那么，有哪些感官需要被模擬呢？

佛教認(rèn)為，人有六根，即：眼、耳、鼻、舌、身、意，這些被認(rèn)為是心與物的媒介的根本。

那么我們分別從這些感官版圖中，聊聊元宇宙來(lái)臨時(shí)，人如何重新認(rèn)知世界，有哪些技術(shù)路徑是值得期待的。

元宇宙之眼

元宇宙的熱度，許多科技企業(yè)都想蹭，但沒(méi)有一個(gè)像Facebook這么徹底，直接連名字都改成了Meta“元”。這種孤注一擲的操作，很大程度上源自于Facebook在AR和VR上押下了很大的賭注，至少在視覺(jué)技術(shù)上模擬人類之眼，提供沉浸式的體驗(yàn)，無(wú)人可出其右。

在元宇宙所涵蓋的諸多高新技術(shù)中，VR/AR是被認(rèn)為短期內(nèi)能夠成立并見(jiàn)到回報(bào)的。小說(shuō)《雪崩》中也需要首先“戴上耳機(jī)和目鏡”才能以虛擬分身的方式進(jìn)入虛擬世界。

模擬視覺(jué)，帶來(lái)的“真實(shí)感”體驗(yàn)，是元宇宙體驗(yàn)的第一道關(guān)卡，而Facebook（現(xiàn)更名為Meta）則獨(dú)擅戰(zhàn)場(chǎng)。

關(guān)于Facebook通過(guò)收購(gòu)Oculus等公司，在AR / VR技術(shù)上投入大量資金的歷史，我們就不贅述了。Meta在“模擬視覺(jué)”上的差異化優(yōu)勢(shì)在于：

首先，成本足夠低。元宇宙的困境之一是VR 頭顯的滲透率不足，能破解這一問(wèn)題的廠商自然能夠率先拿到船票。

Meta在全球運(yùn)營(yíng)著五個(gè)研究機(jī)構(gòu)，支持VR/AR的研發(fā)。從目前的市場(chǎng)表現(xiàn)來(lái)看，Meta旗下的Oculus已經(jīng)成為頭號(hào)選擇，其中Oculus Quest 2更是在今年迎來(lái)了一波銷售熱潮，預(yù)算友好的同時(shí)，支持Steam 平臺(tái)的絕大多數(shù)VR應(yīng)用，這也使得Meta能快速進(jìn)入規(guī)模化增長(zhǎng)空間。

其次，硬件的終極價(jià)值要靠體驗(yàn)來(lái)兌現(xiàn)，這要求VR/AR廠商能夠建構(gòu)起足夠龐大的內(nèi)容和社交平臺(tái)，為用戶提供和現(xiàn)實(shí)中別無(wú)二致的工作、娛樂(lè)和生活體驗(yàn)，目前只有Meta能夠?qū)⑸缃粌?yōu)勢(shì)與VR技術(shù)優(yōu)勢(shì)疊加在一起，產(chǎn)生1+1＞2的效果。比如Facebook的虛擬會(huì)議，就用了兩年多時(shí)間，讓多達(dá)16人（以化身為代表）一起坐在虛擬會(huì)議桌旁開(kāi)會(huì)。此前，Meta還展現(xiàn)了一些全新的技術(shù)硬件，比如AR眼鏡Horizon Home，允許用戶邀請(qǐng)他們的朋友進(jìn)行虛擬社交聚會(huì)，并且隨時(shí)隨地可穿戴，讓虛擬現(xiàn)實(shí)的交互無(wú)處不在。

硬件+生態(tài)這條路背后，是沉淀多年的技術(shù)優(yōu)勢(shì)。比如強(qiáng)大的人工智能模型，來(lái)理解用戶手勢(shì)指令的上下文邏輯，最終確定需要執(zhí)行的操作；再比如情境感知，理想情況下，用戶只需要單擊一次，即可執(zhí)行任何想做的事情；提升佩戴舒適度，也需要降低VR頭顯的“運(yùn)動(dòng)病”發(fā)生概率，增加AR可穿戴設(shè)備的柔軟度和舒適度，讓它們盡可能被全天候使用。

模擬視覺(jué)的軟硬件能力，是一項(xiàng)艱巨的長(zhǎng)期任務(wù)，還有多年的研究要做。短期內(nèi)，元宇宙還是聚焦于VR/AR。

更早播下種子的Meta，確實(shí)有可能率先收獲，從元宇宙上賺到錢，這也就不難理解它孤注一擲擁抱元宇宙的決心了。

元宇宙之體

要讓用戶在數(shù)字世界里有更豐富的感覺(jué)，來(lái)自身體的觸覺(jué)交互和動(dòng)態(tài)感知，是元宇宙的核心挑戰(zhàn)之一。

最近，Meta的Reality Labs Research實(shí)驗(yàn)室，就發(fā)布了兩個(gè)重要的產(chǎn)品。

一是可穿戴手套，可以在虛擬的 VR 空間感受真實(shí)的觸覺(jué)。

想象一下，當(dāng)你在元宇宙咖啡館里工作時(shí)，虛擬鍵盤每一次擊鍵的觸感都能被完美感受；在元宇宙游戲中，你可以感受到木質(zhì)桌面的粗糙和書本表面的光滑……是不是體驗(yàn)感會(huì)大大提升？是不是比在VR里簡(jiǎn)單地看到自己拿起來(lái)了更有趣味、獲得更多信息？

而Meta這次發(fā)布的觸覺(jué)手套，就在手套上安裝數(shù)百個(gè)氣動(dòng)裝置，遍布整個(gè)手部，可以在佩戴者做出觸摸動(dòng)作時(shí)協(xié)同改變形狀，通過(guò)氣壓來(lái)呈現(xiàn)逼真的觸覺(jué)感覺(jué)。

這種裝置使得研究人員不得不轉(zhuǎn)向軟體機(jī)器人等新興領(lǐng)域，來(lái)規(guī)避傳統(tǒng)機(jī)械耗電、僵硬、體積過(guò)大等問(wèn)題。

同時(shí)，為了精確地知道用戶的手在虛擬場(chǎng)景中的位置，是否與虛擬物體接觸，產(chǎn)生的作用力多大，還需要研發(fā)新型的觸覺(jué)渲染系統(tǒng)，根據(jù)手的位置、對(duì)虛擬環(huán)境的理解、虛擬物品的重量紋理和剛度等等，向手套的氣動(dòng)裝置發(fā)送正確的指令，需要構(gòu)建相應(yīng)的軟件和算法建模。

為了達(dá)到真實(shí)的觸覺(jué)模擬，2017年Reality Labs Research團(tuán)隊(duì)就開(kāi)始嘗試，將不同材料（木材、大理石、泡沫）制成的虛擬球體與單個(gè)振動(dòng)觸覺(jué)設(shè)備建立關(guān)聯(lián)線索。

除了手部跟蹤，身體動(dòng)態(tài)也能給虛擬世界增加不少體驗(yàn)感。如何讓身體數(shù)據(jù)能夠輸入系統(tǒng)并被模擬呢？

Meta的研究團(tuán)隊(duì)將手腕智能設(shè)備與AI相結(jié)合，進(jìn)而感知?jiǎng)討B(tài)環(huán)境。

相比手套、VR、語(yǔ)音等輸入方式，手腕設(shè)備更適合全天無(wú)感知佩戴及交互。但技術(shù)挑戰(zhàn)在于，如何將運(yùn)動(dòng)信號(hào)準(zhǔn)確地轉(zhuǎn)換為數(shù)字指令。

Facebook在2019年收購(gòu)CTRL實(shí)驗(yàn)室使用傳感器，嘗試通過(guò)神經(jīng)信號(hào)讓用戶直接控制機(jī)器。通過(guò)手腕的肌電圖信號(hào)，系統(tǒng)可以理解哪怕一毫米的手指運(yùn)動(dòng)，進(jìn)而轉(zhuǎn)換為數(shù)字命令發(fā)送到設(shè)備上，實(shí)現(xiàn)數(shù)字交互與控制。

舉個(gè)例子，你可以在遠(yuǎn)處控制虛擬對(duì)象，仿佛擁有了原力一般的超能力；未來(lái)還可以無(wú)需鍵盤，在桌子或膝蓋上打字就能輸入；當(dāng)你穿著鞋子離開(kāi)家，設(shè)備就會(huì)詢問(wèn)你是否需要播放音樂(lè)……

人類在嬰兒時(shí)如何感知世界，靠的正是一次次抓握，一次次爬行。身體知覺(jué)的模擬，能夠讓我們?cè)谔摂M空間里和世界再次對(duì)話、重新成長(zhǎng)。

元宇宙之聲

你戴著一副AR眼鏡和一個(gè)柔軟的腕帶，決定去元宇宙里的虛擬會(huì)議室開(kāi)個(gè)會(huì)，突然發(fā)現(xiàn)，設(shè)備里傳來(lái)了嘈雜的音樂(lè)和其他人討論的聲音，讓你很難集中注意力。

事實(shí)上，大腦不會(huì)對(duì)耳朵傳來(lái)的所有聲音照單全收，我們總是會(huì)對(duì)一些特殊詞匯（比如自己的名字）特別敏感，在有必要時(shí)也能主動(dòng)屏蔽外界噪聲。如果要在虛擬世界里復(fù)制真實(shí)的聲音體驗(yàn)，不僅需要聲學(xué)設(shè)備本身的高性能，也要對(duì)聲音如何與真實(shí)環(huán)境相互作用進(jìn)行建模。

就拿Meta的研究方向來(lái)說(shuō)，在3D打印眼鏡上使用多個(gè)麥克風(fēng)，捕捉周圍的聲音，然后通過(guò)眼動(dòng)追蹤設(shè)備，感知頭部和眼睛運(yùn)動(dòng)的軌跡，AI系統(tǒng)可以找出你最感興趣的聲音中的哪一個(gè)，增強(qiáng)正確的聲音。

這樣在嘈雜的虛擬會(huì)議室或咖啡廳里對(duì)話，也不必特意提高聲音才能被聽(tīng)到。

當(dāng)用戶的眼神轉(zhuǎn)向旁白的電視或視頻時(shí)，里面正在播放的內(nèi)容又會(huì)變得更響亮，身邊其他聲音則變得更安靜。

除了模擬大腦認(rèn)知，空間音頻技術(shù)和聲學(xué)仿真技術(shù)，能夠模仿現(xiàn)實(shí)生活中不同方向來(lái)源的聲音，營(yíng)造一個(gè)更加真實(shí)的虛擬空間，用戶使用Oculus Quest等設(shè)備在空間中移動(dòng)時(shí)，設(shè)備模擬出的聲音和房間里真實(shí)的聽(tīng)覺(jué)效果幾乎沒(méi)有差別。

舉個(gè)例子，當(dāng)大家都在使用Meta的元宇宙會(huì)議系統(tǒng)時(shí)，麥克風(fēng)陣列可以捕捉各個(gè)角度的聲音并傳送到耳機(jī)里，用戶可以很自然地判斷發(fā)言者所在的位置并轉(zhuǎn)向TA，這種體驗(yàn)感簡(jiǎn)直就像自己真的在房間里一樣。

再想象得多一點(diǎn)，空間音頻結(jié)合實(shí)時(shí)動(dòng)畫化的超逼真虛擬人，可能會(huì)徹底改變視頻通話的感覺(jué)，讓遠(yuǎn)程社交不再是線下的“替代品”，真的能夠提升溝通效率。

聽(tīng)覺(jué)模擬，不僅改變著元宇宙中的溝通方式，也可能提升聽(tīng)覺(jué)障礙人群的社交參與度。

如果說(shuō)元宇宙和現(xiàn)實(shí)世界相比有什么吸引力，那么降低生理性差別及其限制，或許會(huì)讓許多人都感覺(jué)到更加幸福。

元宇宙之意識(shí)

你可能會(huì)問(wèn)，除了眼耳手，還有哪些方式進(jìn)入元宇宙？在1981年出版的小說(shuō)《真名實(shí)姓》中，美國(guó)數(shù)學(xué)家和計(jì)算機(jī)專家弗諾·文奇教授，就提出了通過(guò)腦機(jī)接口進(jìn)入并獲得感官體驗(yàn)的虛擬世界。

意識(shí)進(jìn)入人造現(xiàn)實(shí)，這不正是黑客帝國(guó)中“缸中之腦”的情節(jié)嗎？但要實(shí)現(xiàn)這一點(diǎn)并沒(méi)有那么簡(jiǎn)單。

事實(shí)上，Meta的Facebook Reality Labs也在進(jìn)行腦機(jī)接口（BCI）的相關(guān)研究，希望給VR系統(tǒng)和AR眼鏡提供一種全新的交互方式，但至今并沒(méi)有可規(guī)模化商用的案例。至于埃隆馬斯克那種直接給大腦做手術(shù)的介入式方案就更加遙遠(yuǎn)了。

腦機(jī)接口BCI的問(wèn)題主要在于，非侵入性的、基于腦電圖EEG的交互速度非常慢，有時(shí)患者需要70分鐘才能輸入一個(gè)句子，并不具備使用價(jià)值。此外，現(xiàn)有腦機(jī)接口設(shè)備的體積也很大，無(wú)法長(zhǎng)時(shí)間佩戴。

目前，Meta的研究團(tuán)隊(duì)希望測(cè)量血管和神經(jīng)元的運(yùn)動(dòng)，創(chuàng)建小型、方便的BCI設(shè)備，進(jìn)而幫助實(shí)現(xiàn)無(wú)聲語(yǔ)音輸入。

進(jìn)步總是發(fā)生在一點(diǎn)一滴地寸進(jìn)當(dāng)中，哪個(gè)科技公司更了解這項(xiàng)技術(shù)，就距離元宇宙更進(jìn)了一步。

元宇宙之味

元宇宙技術(shù)體系中，Meta沒(méi)有提到的感覺(jué)是氣味和味道。至少目前在VR/AR中，鼻子和舌頭似乎都有點(diǎn)不太必要存在——但視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)一旦得到完善，就需要開(kāi)拓其他感官了。

我們常說(shuō)“聞香識(shí)人”，真實(shí)世界里人的氣味、空間的氣味、食物的味道，都是自然界提供給我們的重要信息。沒(méi)有它們，VR將永遠(yuǎn)是對(duì)現(xiàn)實(shí)的乏味模仿。

但嗅覺(jué)和味覺(jué)所代表的化學(xué)感官，數(shù)字化的嘗試出人意料地緩慢。

一方面，源自現(xiàn)實(shí)的技術(shù)挑戰(zhàn)。嗅覺(jué)是與杏仁核直接相關(guān)的感覺(jué)，這也為什么氣味可以喚起強(qiáng)烈的情感記憶，但將嗅覺(jué)整合到VR中，在味道調(diào)制上選擇十分有限，無(wú)法模仿出現(xiàn)實(shí)世界中的數(shù)千種氣味。同時(shí)也給硬件設(shè)計(jì)提出了極大挑戰(zhàn)。

2015年在Kickstarter上推出的FeelReal面具，聲稱可以發(fā)出氣味，并制造出冷熱霧氣的感覺(jué)。但這款面具并不成功，The Verge將佩戴FeelReal口罩描述為“在炎熱的天氣里將空氣清新劑放入車?yán)?，把臉埋在汽車的塑料座椅上，然后跟隨司機(jī)經(jīng)歷一輪高速急轉(zhuǎn)彎”——想想都要窒息了。

曾有日本實(shí)驗(yàn)室提出了一個(gè)原型嗅覺(jué)機(jī)，可以掛住Oculus Rift上，放在鼻子底下，通過(guò)聲波將液體霧化，向上飄入鼻孔。但這一設(shè)計(jì)無(wú)法讓機(jī)器在不應(yīng)該聞到的時(shí)候停止釋放氣體。

味覺(jué)感官也同樣，曾有日本研究人員開(kāi)發(fā)了一種食品模擬器，讓用戶有咀嚼的感覺(jué)，配合適當(dāng)?shù)脑胍簦ū热绯燥灨傻倪青曷暎瑏?lái)產(chǎn)生味覺(jué)。但這種味道模擬的工作推進(jìn)緩慢，需要大量的味覺(jué)數(shù)據(jù)，食物風(fēng)味來(lái)自嗅覺(jué)，食物質(zhì)地則依賴觸覺(jué)，實(shí)現(xiàn)起來(lái)十分困難。

（數(shù)字味覺(jué)界面，一種模擬味覺(jué)的方法，通過(guò)電和熱刺激來(lái)驅(qū)動(dòng)人類舌頭。）

另外，消費(fèi)者的需求不強(qiáng)烈也是延緩商業(yè)化的重要原因。

相比技術(shù)挑戰(zhàn)，體驗(yàn)數(shù)字化嗅覺(jué)與味覺(jué)的心理障礙可能更高。人類進(jìn)化得來(lái)的生理機(jī)制是，專注于其他事情時(shí)，往往無(wú)法檢測(cè)到香味，即使感受到化學(xué)感官刺激，也更傾向于認(rèn)為其中包含著危險(xiǎn)，

曾有一個(gè)實(shí)驗(yàn)讓參與者通過(guò)VR感知到虛擬廚房里的尿液氣味，結(jié)果受試者經(jīng)常錯(cuò)誤地將尿液氣味誤認(rèn)為是其他味道，比如魚或者垃圾、尸臭味等等，甚至有人認(rèn)為這是一種令人愉快的氣味，因?yàn)樗鼏酒鹆撕玫幕貞洠▽賹?shí)大受震撼了家人們）。

總而言之，人類對(duì)特定氣味和味道的反應(yīng)，依賴于背景或以前的經(jīng)歷，相比視覺(jué)線索，化學(xué)感知的商業(yè)化價(jià)值并不明顯。

這也是為什么在人機(jī)交互、多感官融合領(lǐng)域，對(duì)化學(xué)感官的研究普遍會(huì)被忽視?？磥?lái)要在元宇宙辦公室里和同事們一起喝虛擬咖啡，還有好長(zhǎng)一段路要走了。

寫在最后

說(shuō)到這里，會(huì)發(fā)現(xiàn)關(guān)于元宇宙想要模擬現(xiàn)實(shí)中的人類感知，還需要較長(zhǎng)的時(shí)間。在技術(shù)與商業(yè)上都相對(duì)成熟的只有Meta長(zhǎng)期押注的VR/AR 視覺(jué)體驗(yàn)。

但是，任何單一技術(shù)的短板都有可能限制元宇宙“真實(shí)”的效果，給其發(fā)展帶來(lái)不確定性。

但換個(gè)角度，眼耳鼻舌身意的每一項(xiàng)感官模擬，都能帶來(lái)建構(gòu)虛擬世界之外的奇效。比如幫助身體殘障人士重新聽(tīng)到視覺(jué)、嘗到味道、聞到花香；再比如更輕盈、精準(zhǔn)度高的可穿戴設(shè)備，為智能消費(fèi)硬件市場(chǎng)帶來(lái)變化。

從這個(gè)角度看，最終元宇宙是否實(shí)現(xiàn)并不重要，至少在向目標(biāo)前進(jìn)的過(guò)程中，互聯(lián)網(wǎng)乃至整個(gè)世界，都已經(jīng)變得更好了。而科技巨頭或初創(chuàng)企業(yè)想要抓住元宇宙的機(jī)會(huì)，唯一的選擇只能是走在堅(jiān)實(shí)的技術(shù)道路上。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。