多篇論文和專利，Magic Leap這家神秘公司終于要落地了？

Magic Leap，這家僅憑炫酷的宣傳視頻就獲得14億美元融資的MR創(chuàng)業(yè)公司，依然還沒(méi)有公布一款可以體驗(yàn)的頭盔產(chǎn)品。

The Information、The Verge 等多家國(guó)外媒體報(bào)道指出，Magic Leap 的宣傳視頻存在誤導(dǎo)大眾的嫌疑，該公司的技術(shù)實(shí)際上遠(yuǎn)遠(yuǎn)沒(méi)有形容的那么“先進(jìn)”。他們雖然展示了可以日常佩戴的MR眼鏡，但事實(shí)上卻在將AR 技術(shù)融合到小型化設(shè)備上遭遇瓶頸。

我們都知道，增強(qiáng)現(xiàn)實(shí)的關(guān)鍵在于對(duì)環(huán)境的感知，所有的AR公司都得先解決這一基本問(wèn)題。近來(lái)雷鋒網(wǎng)發(fā)現(xiàn)從他們發(fā)表的多篇論文來(lái)看，“飄在云端”的Magic Leap也和大家一樣在踏踏實(shí)實(shí)解決基本問(wèn)題。

RoomNet房間布局估計(jì)

8月7日最新一篇論文名為：“RoomNet: End-to-End Room Layout Estimation（點(diǎn)擊下載）”該論文致力于用AI的方法來(lái)估算房間的大小和形狀，名為RoomNet。論文總結(jié)表示該論文對(duì)于室內(nèi)導(dǎo)航，場(chǎng)景重建和增強(qiáng)現(xiàn)實(shí)十分重要。

在論文摘要部分我們看到：“論文聚焦于從單眼RGB圖像估計(jì)房間布局，先前的工作將這個(gè)問(wèn)題分成兩個(gè)子任務(wù)：地板、墻壁、天花板的語(yǔ)義分割以產(chǎn)生布局假設(shè)，接著是迭代優(yōu)化步驟來(lái)對(duì)這些假設(shè)進(jìn)行排序。相比之下，我們采用更直接的方式來(lái)描述這個(gè)問(wèn)題，作為估計(jì)房間布局關(guān)鍵點(diǎn)的有序集合之一。給定了這些有序關(guān)鍵點(diǎn)的位置，房間布局和相應(yīng)的分割就完全清晰了。我們使用RoomNet（端到端可編程編碼器 - 解碼器網(wǎng)絡(luò)）預(yù)測(cè)房間布局關(guān)鍵點(diǎn)的位置。在具有挑戰(zhàn)性的基準(zhǔn)數(shù)據(jù)集Hedau和LSUN上，與最近的工作相比，我們實(shí)現(xiàn)了最先進(jìn)的性能以及200倍至600倍的加速。此外，我們提供了RoomNet架構(gòu)的可選擴(kuò)展，包括循環(huán)計(jì)算和內(nèi)存單元，以在相同的參數(shù)容量下細(xì)化關(guān)鍵點(diǎn)位置。“

他們的研究注重從任何相機(jī)都能提供的常規(guī)圖像中尋找房間布局。論文解釋了利用相機(jī)識(shí)別房間布局的關(guān)鍵點(diǎn)，然后再用深度神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別這些關(guān)鍵點(diǎn)，他們提供了十種不同的辦法。

在此前，雷鋒網(wǎng)曾報(bào)道過(guò)他們?cè)故玖艘粋€(gè)在房間里玩MR鬼故事的游戲，在這款游戲中，你會(huì)丟棄傳統(tǒng)的游戲手柄，首先玩起手中的木塊，第一階段的任務(wù)就是學(xué)會(huì)如何使用這些木塊并在 MR 世界中用這些工具完成交互。完成這步后，你的家里就會(huì)響起奇怪的聲音，它們會(huì)越變?cè)酱?，你要做的就是去找尋聲音的源頭。對(duì)于房間和環(huán)境的識(shí)別有助于這類MR游戲的實(shí)現(xiàn)。

邁向幾何型深度SLAM

在兩周前，他們還發(fā)布了一篇名為“邁向幾何型深度SLAM（點(diǎn)擊下載）”的論文，在這篇論文中我們窺見(jiàn)了一種創(chuàng)新的機(jī)器視覺(jué)技術(shù)，可以帶領(lǐng)公司向創(chuàng)造一個(gè)強(qiáng)大的AR頭盔邁進(jìn)。

這篇論文描述了一個(gè)由兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)（CNNs）驅(qū)動(dòng)的點(diǎn)追蹤系統(tǒng)，一個(gè)被稱為MagicPoint，另一個(gè)被稱為Magic Wrap。兩個(gè)系統(tǒng)是快速簡(jiǎn)潔的，可以很輕松地在單一CPU上以30+FPS的狀態(tài)運(yùn)行。

簡(jiǎn)單來(lái)說(shuō)：根據(jù)該文件，MagicPoint對(duì)單個(gè)圖像進(jìn)行操作，并創(chuàng)建重要的具有跟蹤目的的2D點(diǎn)，這些點(diǎn)將被反饋到即時(shí)定位和地圖構(gòu)建（SLAM）視覺(jué)算法。將他們的網(wǎng)絡(luò)與經(jīng)典點(diǎn)檢測(cè)器進(jìn)行比較，團(tuán)隊(duì)發(fā)現(xiàn)“在有圖像噪聲時(shí)存在顯著性能差距”。因?yàn)樘綔y(cè)器性能會(huì)被噪點(diǎn)破壞，對(duì)傳統(tǒng)探測(cè)器來(lái)說(shuō)，斑點(diǎn)噪點(diǎn)尤其難以處理。

因?yàn)橛?jì)算移動(dòng)的物體的形狀并不是一件容易的事情——不管是物體移動(dòng)還是觀察者移動(dòng) - MagicWarp的工作就是使用一對(duì)由MagicPoint生成的2D點(diǎn)的圖像來(lái)實(shí)質(zhì)地預(yù)測(cè)運(yùn)動(dòng)。MagicWarp SLAM算法以與傳統(tǒng)方式不同的方式進(jìn)行，因?yàn)樗鼉H使用點(diǎn)的位置，而不是更復(fù)雜的“本地點(diǎn)描述符”，這是專用于描述包含編碼、獨(dú)特標(biāo)識(shí)信息的事物的計(jì)算機(jī)視覺(jué)術(shù)語(yǔ)。

使用物理和合成數(shù)據(jù)進(jìn)行測(cè)試，據(jù)說(shuō)兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)崟r(shí)運(yùn)行。作者總結(jié)說(shuō)：“我們認(rèn)為大規(guī)模部署以SLAM系統(tǒng)驅(qū)動(dòng)的深度學(xué)習(xí)Deep-Learning的日子并不遙遠(yuǎn)。

Magic Leap昨天通過(guò)了一項(xiàng)專利申請(qǐng)，“a compact optical see-through head-mounted display capable of combining, a see-through image path with a virtual image path（一種能夠結(jié)合透視圖像路徑與虛擬圖像路徑的緊湊光學(xué)透視式頭顯）”，其主要是關(guān)于虛擬對(duì)象能實(shí)際地遮擋真實(shí)對(duì)象。

小結(jié)

雖然我們并不清楚Magic Leap是否會(huì)有一個(gè)如其CEO Rony Abovitz所稱的“小巧，移動(dòng)，強(qiáng)大而且很酷”的頭盔，我們都盡力從他們那里去看到任何有用的成果。從這兩篇論文和一項(xiàng)專利開(kāi)看，雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))發(fā)現(xiàn)Magic Leap在環(huán)境識(shí)別、SLAM上都有了自己的成果，他們?nèi)羰悄軐?shí)現(xiàn)自己的愿景：“直接將數(shù)字內(nèi)容呈現(xiàn)在你身邊，這些內(nèi)容不斷可以與用戶進(jìn)行交互，還能與現(xiàn)實(shí)世界互動(dòng)”，再等三年又何妨。

Magic Leap，這家僅憑炫酷的宣傳視頻就獲得14億美元融資的MR創(chuàng)業(yè)公司，依然還沒(méi)有公布一款可以體驗(yàn)的頭盔產(chǎn)品。

The Information、The Verge 等多家國(guó)外媒體報(bào)道指出，Magic Leap 的宣傳視頻存在誤導(dǎo)大眾的嫌疑，該公司的技術(shù)實(shí)際上遠(yuǎn)遠(yuǎn)沒(méi)有形容的那么“先進(jìn)”。他們雖然展示了可以日常佩戴的MR眼鏡，但事實(shí)上卻在將AR 技術(shù)融合到小型化設(shè)備上遭遇瓶頸。

我們都知道，增強(qiáng)現(xiàn)實(shí)的關(guān)鍵在于對(duì)環(huán)境的感知，所有的AR公司都得先解決這一基本問(wèn)題。近來(lái)雷鋒網(wǎng)發(fā)現(xiàn)從他們發(fā)表的多篇論文來(lái)看，“飄在云端”的Magic Leap也和大家一樣在踏踏實(shí)實(shí)解決基本問(wèn)題。

RoomNet房間布局估計(jì)

8月7日最新一篇論文名為：“RoomNet: End-to-End Room Layout Estimation（點(diǎn)擊下載）”該論文致力于用AI的方法來(lái)估算房間的大小和形狀，名為RoomNet。論文總結(jié)表示該論文對(duì)于室內(nèi)導(dǎo)航，場(chǎng)景重建和增強(qiáng)現(xiàn)實(shí)十分重要。

在論文摘要部分我們看到：“論文聚焦于從單眼RGB圖像估計(jì)房間布局，先前的工作將這個(gè)問(wèn)題分成兩個(gè)子任務(wù)：地板、墻壁、天花板的語(yǔ)義分割以產(chǎn)生布局假設(shè)，接著是迭代優(yōu)化步驟來(lái)對(duì)這些假設(shè)進(jìn)行排序。相比之下，我們采用更直接的方式來(lái)描述這個(gè)問(wèn)題，作為估計(jì)房間布局關(guān)鍵點(diǎn)的有序集合之一。給定了這些有序關(guān)鍵點(diǎn)的位置，房間布局和相應(yīng)的分割就完全清晰了。我們使用RoomNet（端到端可編程編碼器 - 解碼器網(wǎng)絡(luò)）預(yù)測(cè)房間布局關(guān)鍵點(diǎn)的位置。在具有挑戰(zhàn)性的基準(zhǔn)數(shù)據(jù)集Hedau和LSUN上，與最近的工作相比，我們實(shí)現(xiàn)了最先進(jìn)的性能以及200倍至600倍的加速。此外，我們提供了RoomNet架構(gòu)的可選擴(kuò)展，包括循環(huán)計(jì)算和內(nèi)存單元，以在相同的參數(shù)容量下細(xì)化關(guān)鍵點(diǎn)位置。“

他們的研究注重從任何相機(jī)都能提供的常規(guī)圖像中尋找房間布局。論文解釋了利用相機(jī)識(shí)別房間布局的關(guān)鍵點(diǎn)，然后再用深度神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別這些關(guān)鍵點(diǎn)，他們提供了十種不同的辦法。

在此前，雷鋒網(wǎng)曾報(bào)道過(guò)他們?cè)故玖艘粋€(gè)在房間里玩MR鬼故事的游戲，在這款游戲中，你會(huì)丟棄傳統(tǒng)的游戲手柄，首先玩起手中的木塊，第一階段的任務(wù)就是學(xué)會(huì)如何使用這些木塊并在 MR 世界中用這些工具完成交互。完成這步后，你的家里就會(huì)響起奇怪的聲音，它們會(huì)越變?cè)酱?，你要做的就是去找尋聲音的源頭。對(duì)于房間和環(huán)境的識(shí)別有助于這類MR游戲的實(shí)現(xiàn)。

邁向幾何型深度SLAM

在兩周前，他們還發(fā)布了一篇名為“邁向幾何型深度SLAM（點(diǎn)擊下載）”的論文，在這篇論文中我們窺見(jiàn)了一種創(chuàng)新的機(jī)器視覺(jué)技術(shù)，可以帶領(lǐng)公司向創(chuàng)造一個(gè)強(qiáng)大的AR頭盔邁進(jìn)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。