詳解 OPPO“明星級(jí)”技術(shù)能力:Breeno 和 ARunit

在目前的手機(jī)產(chǎn)業(yè)中，OPPO 憑借其對(duì)用戶需求的準(zhǔn)確把握和將需求轉(zhuǎn)化為產(chǎn)品賣(mài)點(diǎn)的能力，已迅速成為主流智能手機(jī)品牌，在全球市場(chǎng)份額排名中位居第四，占據(jù)了移動(dòng)互聯(lián)時(shí)代的流量入口。

從 2016 年開(kāi)始，OPPO 把重點(diǎn)放在開(kāi)放平臺(tái)建設(shè)上，旨在為開(kāi)發(fā)者打造技術(shù)、平臺(tái)、資源和終端一站式的服務(wù)閉環(huán)。不久前，OPPO 正式開(kāi)放 Breeno 語(yǔ)音技能平臺(tái)的接入，同時(shí)不斷拓展 ARunit 相關(guān)能力，助力開(kāi)發(fā)者打造更加優(yōu)質(zhì)的產(chǎn)品。

4 月 13 日在北京舉行的 OPPO 技術(shù)開(kāi)放日，OPPO 相關(guān)技術(shù)和產(chǎn)品負(fù)責(zé)人現(xiàn)場(chǎng)為大家詳細(xì)解讀 Breeno 和 ARunit 框架的技術(shù)能力和開(kāi)發(fā)流程，小編為大家整理了以下內(nèi)容。

1

如何開(kāi)發(fā)一款語(yǔ)音技能產(chǎn)品？

語(yǔ)音交互技能是這幾年才興起的新鮮事物。它使產(chǎn)品和服務(wù)可以覆蓋用戶的語(yǔ)音交互場(chǎng)景，并快速做出合理的響應(yīng)。由于支持語(yǔ)音交互的產(chǎn)品和服務(wù)，極大地方便了人們的生活，這使語(yǔ)音技能開(kāi)發(fā)成為了新一輪內(nèi)容及服務(wù)的創(chuàng)業(yè)藍(lán)海。

語(yǔ)音的技能幾乎可以支持現(xiàn)在互聯(lián)網(wǎng)所有的產(chǎn)品類型，包括信息的查詢、益智的游戲、問(wèn)答等。同時(shí)也支持多元化的資源載體，包括 APP、快應(yīng)用、H5 等。

那么，語(yǔ)音技能究竟是怎么開(kāi)發(fā)的?在哪開(kāi)發(fā)?怎么發(fā)布? 什么樣的語(yǔ)音技能效果好?我們可以從 OPPO 的語(yǔ)音技能平臺(tái) Breeno 上尋找答案。

Breeno 語(yǔ)音技能平臺(tái)，是一個(gè)為開(kāi)發(fā)者提供技能創(chuàng)建、測(cè)試、部署的工具平臺(tái)。通過(guò)該平臺(tái)，開(kāi)發(fā)者可享受完全免費(fèi)的平臺(tái)服務(wù)，更加簡(jiǎn)單高效地創(chuàng)建優(yōu)質(zhì)語(yǔ)音技能，實(shí)現(xiàn)了終端用戶使用自然語(yǔ)言即可喚醒和使用語(yǔ)音技能的目的，在降低開(kāi)發(fā)成本的同時(shí)，又能提高開(kāi)發(fā)效率。

Breeno 語(yǔ)音技能平臺(tái)框架

Breeno 語(yǔ)音技能平臺(tái)主要分為三部分：平臺(tái)工具、審核和上線部分。

在平臺(tái)工具層中，「基礎(chǔ)支撐」是最基礎(chǔ)的底層能力，有海量數(shù)據(jù)和算法支持;「技能形態(tài)」是對(duì)多元化資源內(nèi)容的接入形態(tài)支持，并提供通用性很強(qiáng)的標(biāo)準(zhǔn)卡片模板，具有廣泛性和包容性;「核心流程」是整個(gè)框架中最核心的部分，也是開(kāi)發(fā)者能做出優(yōu)秀語(yǔ)音技能的過(guò)程支持。

在審核層中，「審核后臺(tái)」具有審核流程和標(biāo)準(zhǔn)、審核機(jī)制、基本功能支持和技能統(tǒng)計(jì)四個(gè)模塊，審核后臺(tái)的價(jià)值是在技能上線前，幫助開(kāi)發(fā)者把控技能體驗(yàn)。

在上線層中，「技能商店」是直接面向用戶的，所以需要具備豐富的信息內(nèi)容。此外，平臺(tái)方面會(huì)幫助開(kāi)發(fā)者做技能的運(yùn)營(yíng)和推薦。

在 Breeno 上創(chuàng)建一個(gè)語(yǔ)音技能的流程是怎樣的?

創(chuàng)建一個(gè)語(yǔ)音技能，可以分為六個(gè)步驟：語(yǔ)音技術(shù)→對(duì)話管理→接入方式→在線測(cè)試→一鍵部署→統(tǒng)計(jì)監(jiān)控。Breeno 可以全程提供技術(shù)支持。

第一步，語(yǔ)音技術(shù)支持。語(yǔ)音技術(shù)支持分為四個(gè)環(huán)節(jié)：語(yǔ)音喚醒、語(yǔ)音識(shí)別、語(yǔ)音理解和語(yǔ)音合成。在這些環(huán)節(jié)中，Breeno 為開(kāi)發(fā)者提供的支持有：

在語(yǔ)音喚醒方面，支持包括“打開(kāi) + 技能名稱”的喚醒，還有“包括喚醒和意圖需求的一句話”的喚醒;

在語(yǔ)音識(shí)別方面，采用了科大訊飛語(yǔ)音識(shí)別模型，識(shí)別準(zhǔn)確率 95% 以上;

在語(yǔ)義理解方面，提供多種通用系統(tǒng)意圖和詞典支持，提供在線技能意圖的訓(xùn)練模型，提高意圖識(shí)別準(zhǔn)確率;

在語(yǔ)音合成方面，提供中文普通話 TTS 語(yǔ)音播報(bào)，還有多種 SMML 播報(bào)標(biāo)簽語(yǔ)持續(xù)更新中。

第二步，對(duì)話管理支持。對(duì)話管理部分主要是指語(yǔ)音對(duì)話中用到的自然語(yǔ)言處理：

支持單輪和上下文多輪語(yǔ)音交互對(duì)話配置;

多輪對(duì)話中上下文槽位信息自動(dòng)繼承，從而能高效率管理對(duì)話服務(wù)。

第三步，接入方式支持。接入方式就是交互展現(xiàn)，用戶收到的回復(fù)如果只有文本內(nèi)容，未免太過(guò)簡(jiǎn)陋。Breeno 提供了多種形式的展現(xiàn)模板，并幫助開(kāi)發(fā)者在各種交互形態(tài)下進(jìn)行試驗(yàn)和自適應(yīng)調(diào)整，整體降低了開(kāi)發(fā)者的開(kāi)發(fā)成本。包括：

提供多種卡片的選擇，包括：純文本、圖文等基本信息模版，支持點(diǎn)擊鏈接跳轉(zhuǎn)，例如新聞?lì)惖募寄?還有適合音頻內(nèi)容的多媒體模版;如果針對(duì)知識(shí)問(wèn)答，可以選擇 FAQ 自動(dòng)問(wèn)答配置等;

提供各種交互形態(tài)自適應(yīng)，包括：無(wú)屏交互，有屏交互，微屏交互。

第四步，在線測(cè)試支持。當(dāng)整套技能開(kāi)發(fā)完畢后，最讓人頭疼的問(wèn)題就是測(cè)試。Breeno 提供了模擬器在線模擬測(cè)試和真機(jī)測(cè)試，還支持測(cè)試正例上傳和存儲(chǔ)。

第五步，一鍵部署支持。技能發(fā)布時(shí)，支持一次發(fā)布多個(gè)終端同時(shí)部署，減少多次發(fā)布的過(guò)程。同時(shí)，還提供在線資源和內(nèi)容存儲(chǔ)管理，以及線上代碼編輯和服務(wù)一鍵配置能力。

第六步，統(tǒng)計(jì)監(jiān)控支持。技能上線后，開(kāi)發(fā)者需要實(shí)時(shí)了解應(yīng)用表現(xiàn)，所以需要進(jìn)行數(shù)據(jù)監(jiān)控和統(tǒng)計(jì)。Breeno 會(huì)把真實(shí)的數(shù)據(jù)和用戶操作信息同步給開(kāi)發(fā)者，方便及時(shí)升級(jí)和優(yōu)化。

OPPO 有一句很有名的廣告語(yǔ)：充電 5 分鐘，通話 2 小時(shí)。其實(shí)，在 Breeno 上創(chuàng)建語(yǔ)音技能也只需要 5 分鐘，具體內(nèi)容大家可以參考 Breeno 語(yǔ)音技能平臺(tái)官方文檔去體驗(yàn)一下。https://open.oppomobile.com/wiki/doc#id=10205

2

如何為你的應(yīng)用增加 AR 功能？

現(xiàn)在 VR 給人們的印象就是：頭帶一個(gè)密封的頭盔。很多人以為 AR 也會(huì)是這樣。當(dāng)然微軟也有 AR 頭盔，但是 AR 最大的市場(chǎng)在于移動(dòng)設(shè)備。原因在于，AR 硬件在成本方面有一定的局限性，目前并未普及;另一方面，AR 技術(shù)已經(jīng)可以和智能手機(jī)兼容，用戶沒(méi)必要購(gòu)買(mǎi)專用的 AR 硬件就可以體驗(yàn) AR 內(nèi)容。而且大部分情況下，消費(fèi)者用 AR 移動(dòng)設(shè)備就足夠滿足需求了。

那么，AR 究竟是怎么做到“虛實(shí)結(jié)合”的?

由于 AR 是現(xiàn)實(shí)場(chǎng)景和虛擬場(chǎng)景的結(jié)合，所以基本都需要攝像頭，在攝像頭拍攝的畫(huà)面基礎(chǔ)上，結(jié)合虛擬畫(huà)面進(jìn)行展示和互動(dòng)，那么需要實(shí)現(xiàn)的是：

了解真實(shí)相機(jī)的實(shí)時(shí)姿態(tài)。

將虛擬相機(jī)的位姿視角與真實(shí)相機(jī)對(duì)齊，這樣才能感受到虛擬物品的真實(shí)存在。

虛擬對(duì)象到真實(shí)環(huán)境的渲染要夠真實(shí)，所以要很強(qiáng)大的 AR 渲染功能，實(shí)現(xiàn)虛擬物體與現(xiàn)實(shí)環(huán)境場(chǎng)景相融合。

人與虛擬物體實(shí)現(xiàn)交互，包括手勢(shì)、軀體、骨架識(shí)別等，更有趣味性和深度。這里的交互可以基于攝像頭、頭盔、手表等介質(zhì)完成。

那么從技術(shù)角度，這個(gè)過(guò)程該怎么完成呢?

一套完整的 AR 系統(tǒng)包括四個(gè)模塊：運(yùn)動(dòng)追蹤、環(huán)境理解、目標(biāo)追蹤和虛實(shí)融合。

1、運(yùn)動(dòng)追蹤系統(tǒng)該系統(tǒng)

可以在移動(dòng)過(guò)程中，實(shí)時(shí)跟蹤手機(jī)的自身的位置，并構(gòu)建自身對(duì)周圍環(huán)境的理解。ARunit 的追蹤技術(shù)使用攝像頭來(lái)標(biāo)識(shí)興趣點(diǎn)(也稱特征點(diǎn))，并跟蹤這些點(diǎn)隨著時(shí)間變化在屏幕上的移動(dòng)。通過(guò)結(jié)合這些點(diǎn)的移動(dòng)信息與手機(jī)慣性傳感器的數(shù)據(jù)，ARunit 能夠在手機(jī)移動(dòng)時(shí)確認(rèn)自身的位置和屏幕朝向。

2、環(huán)境理解能力

我們?cè)谟檬謾C(jī)掃描現(xiàn)實(shí)場(chǎng)景時(shí)，需要尋找到水平平面或者數(shù)字平面，再選擇虛擬物體放置位置，然后生成虛擬物體。在這個(gè)過(guò)程中，系統(tǒng)會(huì)檢測(cè)環(huán)境中的平坦表面(如桌面、墻面)，并估測(cè)目標(biāo)區(qū)域中的平均光照強(qiáng)度，結(jié)合標(biāo)識(shí)的關(guān)鍵點(diǎn)，進(jìn)而構(gòu)建起自身對(duì)周圍環(huán)境的理解。據(jù)了解，OPPO 的 AR 團(tuán)隊(duì)正在不斷擴(kuò)展能力邊界，正在結(jié)合深度攝像頭對(duì)現(xiàn)實(shí)場(chǎng)景進(jìn)行 3D 建模，生成現(xiàn)實(shí)場(chǎng)景的三維模型。如此一來(lái)，虛擬物體可以被放在任何表面，包括斜面和角落。此外，OPPO AR 將針對(duì)三維重建做數(shù)字化描述得到現(xiàn)場(chǎng)地圖，通過(guò)結(jié)合這種地圖可以做到遮擋和碰撞，使用戶有更進(jìn)一步的交互體驗(yàn)。

3、目標(biāo)追蹤

目標(biāo)追蹤主要是對(duì)現(xiàn)實(shí)場(chǎng)景中一些感興趣的物體的追蹤，可以增加 AR 的趣味性。比如對(duì)圖象標(biāo)志的追蹤，通過(guò)在 APP 里錄入一些商標(biāo)模型，進(jìn)行追蹤掃描，生成一個(gè)虛擬品牌宣傳形象或標(biāo)語(yǔ)。此外還有物體追蹤、人臉追蹤等，包括可以對(duì)人臉做一個(gè) 3D 美妝，游戲中的虛擬人物的服裝造型等。這樣可以幫助開(kāi)發(fā)者將 APP 做的更有趣。

4、虛實(shí)融合

如果簡(jiǎn)單的把三維虛擬物體，放在某現(xiàn)實(shí)場(chǎng)景中會(huì)顯的很假。這里需要用到三維渲染光，通過(guò)我們對(duì)現(xiàn)實(shí)環(huán)境光源光強(qiáng)的估計(jì)，對(duì)現(xiàn)實(shí)場(chǎng)景中虛擬物體放置位置材質(zhì)的理解，渲染出來(lái)的虛擬物體才更加逼真。

ARunit 架構(gòu)和調(diào)用流程

開(kāi)發(fā)前，開(kāi)發(fā)者需要選擇合適的平臺(tái)和開(kāi)源工具。OPPO ARunit 就是一個(gè)跨平臺(tái)支持的增強(qiáng)現(xiàn)實(shí)應(yīng)用框架。它具有較強(qiáng)的兼容性，其中包括 C、java、Unity3D 等版本 sdk，能夠提供實(shí)時(shí)跟蹤與建圖、尺度估計(jì)、多平面檢測(cè)、光照估計(jì)、命中檢測(cè)等功能。它可以幫助開(kāi)發(fā)者快速搭建自己的 AR 應(yīng)用，并極大的釋放 AR 應(yīng)用方面的創(chuàng)意和靈活性，同時(shí)開(kāi)發(fā)成本也很低。

OPPO 手機(jī)都會(huì)內(nèi)置 ARunit 的功能，并逐漸普及同時(shí)支持 2D 和 3D 的設(shè)備。開(kāi)發(fā)者可以通過(guò) ARunit 調(diào)用能力、支撐應(yīng)用本身的功能和場(chǎng)景。這些能力上文中提到的位姿跟蹤、環(huán)境理解、光照估計(jì)、遮擋、擊中測(cè)試、手勢(shì)交互等，并在持續(xù)增加更多新的能力。

ARunit 的調(diào)用過(guò)程比較簡(jiǎn)單，如下圖所示：

ARunit 的接口設(shè)計(jì)也很友好，與 ARcore 類似，之前有過(guò) ARsdk 開(kāi)發(fā)經(jīng)驗(yàn)的，都可以很輕松的切換到 ARunit 上，無(wú)需很多重復(fù)性學(xué)習(xí)。具體文檔見(jiàn)：https://open.oppomobile.com/wiki/doc#id=10171

AR 應(yīng)用案例及場(chǎng)景探討

目前，在應(yīng)用中開(kāi)通 AR 功能已成為趨勢(shì)。對(duì)于開(kāi)發(fā)者來(lái)說(shuō)，AR 有哪些應(yīng)用場(chǎng)景可以去落地?

從支撐 AR 應(yīng)用的終端設(shè)備發(fā)展來(lái)看，增長(zhǎng)速度是極快的，2016 到 2018 年間的手機(jī)增長(zhǎng)了 37 倍，預(yù)計(jì)在 2020 年的時(shí)候全球?qū)?huì)有 6 億臺(tái)手機(jī)具備 AR 的功能，而大部分的手機(jī)都可能具備探測(cè)高精度深度信息的攝象頭。

在 2018 年，OPPO ARunit 已經(jīng)完成了 100 項(xiàng)技術(shù)研發(fā)，并基于攝像頭的能力設(shè)計(jì)了 AR 尺子和 3D 掃描應(yīng)用。之后，ARunit 與合作伙伴不斷創(chuàng)新，從不同角度帶給用戶新的體驗(yàn)和內(nèi)容：

「ARunit + 高德地圖 = AR 實(shí)景導(dǎo)航」，用戶可以開(kāi)啟 AR 導(dǎo)航，通過(guò)手機(jī)看到周圍的真實(shí)環(huán)境和導(dǎo)航路徑，能看到指引員“小歐”在向你招手，這對(duì)于方向不容易辨別的路況很實(shí)用。

「ARunit + 王者榮耀 = 王者榮耀 AR 相機(jī)」，用戶可以在任何桌面和地面上同王者榮耀里的英雄合影，也可以調(diào)整照片的濾鏡、美顏效果和燈光，甚至可以與你喜歡的英雄進(jìn)行互動(dòng)。

「ARunit + 神奇 AR = AR 短視頻」，用戶可以將模型素材和特效放在現(xiàn)實(shí)場(chǎng)景做融合，多種內(nèi)容的組合可以產(chǎn)生新奇玩法，可以看到真實(shí)二次元出現(xiàn)在三次元里的樣子。

此外，OPPO 一直持續(xù)關(guān)注 AR 領(lǐng)域的布局，重點(diǎn)關(guān)注游戲、購(gòu)物、拍攝、地圖、生活、教育等與用戶有緊密聯(lián)系的場(chǎng)景，并通過(guò) AR 技術(shù)的能力為用戶開(kāi)發(fā)者傳統(tǒng)的商業(yè)模式賦能新形態(tài)。并針對(duì) AR 開(kāi)發(fā)者設(shè)立了 TOP100 的計(jì)劃，專門(mén)為 AR 應(yīng)用開(kāi)發(fā)者提供多種資源的支持，包括技術(shù)支持、聯(lián)合營(yíng)銷和商店推廣等，幫助 AR 開(kāi)發(fā)者在早期迅速獲得市場(chǎng)認(rèn)知和盡可能多的用戶量。

隨著未來(lái)技術(shù)的不斷提升，開(kāi)發(fā)者們會(huì)有更多的想法和創(chuàng)新，也會(huì)有更多新的場(chǎng)景和應(yīng)用誕生，希望 OPPO 能與廣大開(kāi)發(fā)者一起，在未來(lái)技術(shù)的探索和實(shí)踐上，共同前進(jìn)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。