HoloLens2的幕后故事：人工智能如何打造微軟的普適計算愿景

原標題： HoloLens2的幕后故事：人工智能如何打造微軟的普適計算愿景

華盛頓州，雷德蒙德——當人們第一次戴上全新HoloLens 2時，設(shè)備會自動開始識別他們：它會測量包括用戶手的準確形狀、精準的瞳距在內(nèi)的一切數(shù)據(jù)。在英國劍橋領(lǐng)導HoloLens科學團隊的資深科學家Jamie Shotton表示，實現(xiàn)這些功能的人工智能研發(fā)過程“驚人的復雜”，但如果想讓使用該設(shè)備的體驗變成一種“本能”體驗，這些研發(fā)工作至關(guān)重要。

“我們希望用戶不用專門學習，就知道如何使用HoloLens?！彼a充到：“我們知道如何與現(xiàn)實世界中的事物進行交互：我們拿起東西，按下按鈕，然后指向目標物。我們致力于將其直接轉(zhuǎn)化為混合現(xiàn)實?！?/p>

微軟今天宣布HoloLens 2正式開始向客戶發(fā)貨。這款內(nèi)置傳感器的全息計算頭戴顯示設(shè)備利用人工智能代替時間和空間，創(chuàng)造出一個由人、位置和物體組成的混合現(xiàn)實，以促進我們最基本的人類沖動之一：交換知識。

微軟技術(shù)院士Alex Kipman表示，我們希望這款頭戴顯示設(shè)備可以展示智能邊緣設(shè)備的優(yōu)秀能力——支持人工智能技術(shù)，即使沒有穩(wěn)定的互聯(lián)網(wǎng)連接，也能收集和處理數(shù)據(jù)——并在聯(lián)網(wǎng)時與智能云共享部分或全部數(shù)據(jù)。

不久之前，Kipman在他辦公室的數(shù)字白板上勾勒了這種普適計算結(jié)構(gòu)的示意圖。他說：“HoloLens是微軟首個基于這種世界觀開發(fā)的設(shè)備?！?HoloLens 2中的人工智能與微軟云計算平臺Azure的人工智能功能相結(jié)合，讓那些需要騰出雙手操作的一線工作人員能夠?qū)W習有助于職業(yè)發(fā)展的技能，并使地球兩端說不同語言的人能夠通過對物體的互通認知進行協(xié)作。

微軟公司Microsoft Azure部門副總裁Julia White說：“你可以通過HoloLens做真正有趣的事，也可以通過云來做真正有趣的事。但是當這兩者相結(jié)合時，你會發(fā)現(xiàn)，它改變了人們實際做事的方式方法?！?/p>

通過人工智能交付混合現(xiàn)實

為了實現(xiàn)與HoloLens 2的自然交互，Shotton和他的同事共同開發(fā)、訓練人工智能模型，并將其部署在設(shè)備上，以跟蹤人們的手部動作和視線，比如人們可以感知漂浮在自己眼前的全息影像并伸手調(diào)整大小或?qū)ζ渲匦露ㄎ弧?/p>

為了構(gòu)建手部跟蹤系統(tǒng)，該團隊制作了一個帶有向內(nèi)指向的圓頂攝像頭設(shè)備，用來記錄人們各種各樣的手形。之后團隊會使用離線的云處理技術(shù)來構(gòu)建能夠代表所有人手形和動作的3D模型。通過這個3D模型，團隊能夠使用計算機圖形來渲染逼真的合成人手圖像和合成標簽，從而使該模型能夠適用于各種手形、姿勢和運動。Shotton說：“你可以有效地生成無窮多的訓練數(shù)據(jù)?！?/p>

該團隊使用這些數(shù)據(jù)來訓練一個緊湊型深度神經(jīng)網(wǎng)絡(luò)，這是一種適用于HoloLens的機載處理器的人工智能算法，能夠?qū)碜栽O(shè)備的深度傳感器的每一幀畫面進行高效處理。當新用戶戴上HoloLens 2時，系統(tǒng)會利用這個神經(jīng)網(wǎng)絡(luò)構(gòu)建一個適合用戶手掌大小的個性化3D模型，從而實現(xiàn)與全息影像自然交互所需的精確跟蹤。

Shotton的團隊采用了類似的方法來構(gòu)建和訓練眼球跟蹤模型，密切關(guān)注瞳孔間距——即雙眼瞳孔中心之間的距離，瞳距因人而異，它會影響一個人看近處或遠處物體的方式。最終這個眼球跟蹤模型，可以讓HoloLens 2能夠在客戶面前精確顯示全息影像，讓他們用手和眼睛同HoloLens 進行交互和操作。

Shotton表示：“眼球追蹤、全息影像和現(xiàn)實世界的匹配、人手的互動，所有這一切，如果沒有足夠的精度，根本談不上本能自然的交互體驗。”

貫穿邊緣到云端的人工智能

不僅僅是手部和眼球跟蹤功能，其它的智能功能，比如SLAM（同步定位與地圖構(gòu)建），都已經(jīng)被嵌入到HoloLens 2的第二代全息處理單元中，該芯片也被稱為HPU2.0。

Kipman把這種設(shè)備上的人工智能功能稱作感知人工智能。他說：“感知就像爬行動物的大腦，它執(zhí)行的是腦部本能、想都不用想的操作?！睂τ谌藖碚f，這類智能使我們的心臟保持跳動、我們的肺部自主呼吸、我們的眼睛進行微跳動以測量景深。比如當我們口渴并想要喝水時，我們的眼睛會本能地測量到手舉水杯到唇邊的距離。

HoloLens 2上的感知人工智能使人們能夠操控全息影像并與之進行交互，而無需擔心所謂的延遲——通常，數(shù)據(jù)傳輸?shù)皆贫?、進行處理并返回到邊緣需要花數(shù)百毫秒的時間。當你在全息影像上按下一個按鈕，或者用眼球在全息影像上瀏覽文本時，“即使幾十毫秒也會產(chǎn)生顯著的感知差異。”Shotton指出：“運轉(zhuǎn)時長至關(guān)重要。”

對隱私的保護是在設(shè)備上進行本地人工智能計算的另一個原因，例如HoloLens 2用來驗證客戶身份的虹膜掃描信息——人們可能不希望將這類私人數(shù)據(jù)發(fā)送到云端。然而，對于許多其它類型的數(shù)據(jù)來說，將其發(fā)送到云端是有好處的：因為一旦這些數(shù)據(jù)到達云端，客戶就可以利用Azure AI和混合現(xiàn)實服務(wù)，將他們設(shè)備上的數(shù)據(jù)與整個普適計算結(jié)構(gòu)中的數(shù)據(jù)相結(jié)合，“這使很多更高級的運算和認知功能得以運行?！盞ipman說。

云端協(xié)作

微軟混合現(xiàn)實與人工智能蘇黎世實驗室主任Marc Pollefeys表示，智能云賦能的全息計算的一個關(guān)鍵優(yōu)勢就是，它可以與其他擁有HoloLens或類似設(shè)備的人共享信息。Pollefeys正在領(lǐng)導一個團隊研發(fā)用于混合現(xiàn)實云服務(wù)的核心計算機視覺算法——Azure Spatial Anchors，該服務(wù)能夠讓全息影像保留并鎖定在現(xiàn)實世界中，供任何具有適當訪問權(quán)限的人查看。

比如說，Spatial Anchors技術(shù)讓工廠管理者能夠把全息影像放在裝配線上的設(shè)備旁邊，包含重要的實時操作和維護信息，任何獲得認證并擁有混合現(xiàn)實設(shè)備的工人都可以訪問這些信息。

Pollefeys說：“如果我只能在我自己的設(shè)備上回看這些信息，那這樣的全息影像就毫無意義。但是，如果我能夠在全息影像中對現(xiàn)實世界進行批注和標記，并且公司里任何有訪問權(quán)限的人都可以看到這些信息，那么這就實現(xiàn)了價值飛躍?！?/p>

為了創(chuàng)建這一功能，Pollefeys和他的團隊開發(fā)了人工智能計算機視覺算法，該算法可處理來自傳感器的數(shù)據(jù)，提取周圍環(huán)境的3D幾何信息，并將其整合、上傳到云平臺，創(chuàng)建出基于這些相關(guān)區(qū)域數(shù)字孿生系統(tǒng)或視圖。

Pollefeys指出，HoloLens總是通過解讀3D或空間信息的方式，了解其所在的運行環(huán)境。Azure Spatial Anchors創(chuàng)建、優(yōu)化這些視圖，并在各種設(shè)備上進行共享，這就是為什么要把來自各個設(shè)備的視圖拼湊在一起并存儲在云中。他說：“只在一臺設(shè)備上存儲這些數(shù)據(jù)是沒有意義的。就好比我有一小塊拼圖、其他人也有一小塊拼圖，只有當我們把各自設(shè)備中生成的拼圖整合到一起，才可以覆蓋整個空間?！?/p>

隨著各種支持混合現(xiàn)實功能的設(shè)備，包括HoloLens以及適當配置的手機、平板電腦和筆記本電腦，繪制出的環(huán)境信息不斷整合，并共享在云端，這些視圖將隨著時間的推移變得更加詳實、更加精確、更加強大。

以工廠為例，隨著越來越多有訪問權(quán)限的工人用自己的設(shè)備查看全息影像，工廠車間的整體視圖將會不斷地改進，最終完整全息影像將會被經(jīng)理放置在裝配線設(shè)備的上方。該功能還支持其它一些場景，例如：建筑師和客戶開會時，每個參會人員都佩戴一個混合現(xiàn)實設(shè)備，將可以從自己的視角查看該建筑的全息3D設(shè)計圖，并與之進行交互。

Julia White指出，Azure包含預構(gòu)建服務(wù)，可在HoloLens和任何其它混合現(xiàn)實設(shè)備上，包括運行iOS和安卓操作系統(tǒng)的智能手機和平板電腦，為這類體驗編寫應(yīng)用程序。她指出：“這種協(xié)作體驗不僅僅限于HoloLens。而且開發(fā)者在編寫這些令人驚嘆的應(yīng)用時的成本、操作難度和技能要求都隨之大大降低?！?例如，跨設(shè)備和平臺功能可以優(yōu)化《我的世界：地球》的游戲體驗。將流行的視頻游戲與混合現(xiàn)實融合在一起，一個玩家可以在現(xiàn)實世界中搭建并放置可持久存在的虛擬結(jié)構(gòu)，這樣，其他玩家就可以在自己的設(shè)備上與之進行交互。

Julia White說：“我們都參與其中，因為它基于云技術(shù)，能夠被各種類型的設(shè)備解讀和詮釋?！?/p>

以人為本的技術(shù)

Kipman指出，要想讓HoloLens達到我們預想的那樣去工作，支持這種體驗的技術(shù)就必須以類似人類的方式來理解這個世界。因此，他和微軟各個部門的同事合作，一同在這普適計算的數(shù)據(jù)網(wǎng)中開發(fā)、部署這些技術(shù)，并充分利用人工智能技術(shù)研究解決方案——從HoloLens 2的芯片到Azure AI和混合現(xiàn)實服務(wù)。

我們的目光再次回到Kipman的數(shù)字白板，他現(xiàn)在已經(jīng)勾勒出一個普適計算的愿景，這個白板上有文字、方框、箭頭，還有一幅簡筆畫——畫中的兩人在一個智能設(shè)備旁交談。

他說，這就是普適計算的終極目標——讓人們以自然的方式與他人進行交互。為了強調(diào)這一點，他特意停頓了一下，與觀眾進行眼神交流，并說：“希望你們能從這次的談話中得到更多收獲，因為在真實世界中大家現(xiàn)在就在我身邊?！?/p>

他繼續(xù)說道：“我們本可以通過電話或者Skype來交流，我甚至可以錄下我的演講，然后把磁帶寄給你們。但大家沒有選擇這么做，而選擇了面對面交流。為什么？因為這就是我們?nèi)祟惲晳T的做事方式。”

“但這樣面對面的缺點是，大家必須和我同時在同一個地點。而全息技術(shù)的力量就在于，它能夠幫助我們打破空間和時間的界限?！?/p>

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。