優(yōu)刻得助力微車AI黑科技：老司機(jī)是如何養(yǎng)成的？

Hot-Standby是優(yōu)刻得開發(fā)的一種高性價(jià)比的算力支持特性。它歸屬于優(yōu)刻得UAI-Inference在線服務(wù)平臺，當(dāng)用戶選擇使用算力獨(dú)占模式(GPU節(jié)點(diǎn))時(shí)，為減少獨(dú)占資源在用戶無訪問時(shí)的資源浪費(fèi)，用降配資源支持服務(wù)待機(jī)的一種模式。

首先來問在座的老司機(jī)一個(gè)問題：你能快速說出下面這張圖中每一個(gè)指示燈、告警標(biāo)志的準(zhǔn)確釋義嗎?

優(yōu)刻得 Hot-Standby

在生活中，我們經(jīng)常會遇到汽車儀表盤故障標(biāo)志亮起的情況，但很多人對此卻是茫然無措。面對突發(fā)的小狀況，大家通常會打電話求助身邊的朋友或是咨詢4S店。當(dāng)你急切的想得到答案時(shí)，又往往由于口述表達(dá)的不清晰、或?qū)Ψ讲涣私饩唧w情況，不能及時(shí)解決問題。并且目前汽車上各種故障燈、提示燈種類繁多，有時(shí)甚至連各種老司機(jī)、4S店工作人員對某些故障燈的信息也不是非常明確。

這個(gè)時(shí)候，就需要用到了微車APP的黑科技——AI智能識別汽車故障。

微車AI黑科技：汽車故障識別功能

微車是一個(gè)一站式車主服務(wù)平臺，目前已經(jīng)擁有1.3億車主用戶，深度服務(wù)于中國億萬車主和汽車生態(tài)圈。針對車主的痛點(diǎn)，微車新推出了AI智能識別汽車故障服務(wù)，車主只要用手機(jī)一掃，即可了解各種故障燈及解決方式。

圖：微車AI智能識別汽車故障應(yīng)用界面

基于1.3億注冊車輛，微車在服務(wù)車主的養(yǎng)車、用車過程中，積累了大量的數(shù)據(jù)和專家知識，通過識別車輛故障圖像中的每一個(gè)對象，將其分類、建立標(biāo)簽，依靠深度學(xué)習(xí)能力來識別圖中的信息，最終達(dá)到基于不同車輛的故障進(jìn)行智能識別的目的。故障識別產(chǎn)品是微車最新的AI產(chǎn)品，也是微車AI智能轉(zhuǎn)型的重要一步。

在此過程中，微車采用優(yōu)刻得提供的UAI-Inference在線服務(wù)平臺作為海量數(shù)據(jù)的平臺支撐，當(dāng)微車業(yè)務(wù)突增時(shí)也可實(shí)現(xiàn)算力的平滑拓展升級。除此之外，優(yōu)刻得UAI-Inference還幫助微車免去了搭建底層技術(shù)架構(gòu)和運(yùn)維的工作，技術(shù)人員只需專注于AI智能識別汽車故障業(yè)務(wù)的研發(fā)，大大提高了AI算法的開發(fā)效率。

但同時(shí)，微車還提出了其他的業(yè)務(wù)痛點(diǎn)訴求。

微車的痛點(diǎn)：業(yè)務(wù)實(shí)時(shí)性與算力高投入的矛盾

微車開發(fā)的汽車故障識別功能對于業(yè)務(wù)的實(shí)時(shí)性要求非常高，為了保證用戶每次都能有流暢迅速的使用體驗(yàn)，微車需要充足的GPU算力資源支撐，而業(yè)務(wù)的實(shí)時(shí)性需求則意味著GPU的高成本投入。

同時(shí)，該業(yè)務(wù)還有著非常典型的波峰波谷差異，如下圖，可以看到：在部分時(shí)間段服務(wù)QPS甚至趨于零點(diǎn)，那也就意味著這段時(shí)間內(nèi)GPU算力資源勢必會被浪費(fèi)。

圖：微車汽車故障識別功能監(jiān)控信息

起初為了控制成本，微車考慮過使用CPU資源進(jìn)行算力支撐，我們列出了優(yōu)刻得的GPU和CPU的價(jià)格及延時(shí)對比示意圖，供參考。

如上表，可以看到，CPU雖然在價(jià)格上具備更大的優(yōu)勢，但是在延時(shí)上的差距非常明顯，這是因?yàn)镚PU擁有更多的計(jì)算單元與更大的吞吐量環(huán)境。而微車要做的是對車輛信息大數(shù)據(jù)進(jìn)行深度學(xué)習(xí)，深度學(xué)習(xí)的特點(diǎn)是需要大量并行的重復(fù)計(jì)算，從這一點(diǎn)來講，GPU能夠提供更加高效流暢的使用體驗(yàn)。

最終，微車選擇使用GPU算力資源優(yōu)先保障用戶的使用體驗(yàn)，同時(shí)高成本投入的難題也得到了解決。那么，微車是怎么做的呢?

Hot-Standby：微車實(shí)現(xiàn)高算力+低成本的定心丸

微車采用優(yōu)刻得UAI-Inference新增的的Hot-Standby功能，同時(shí)實(shí)現(xiàn)了高可靠GPU算力支持與超高性價(jià)比的雙重保障。

1、什么是Hot-Standby?

Hot-Standby是優(yōu)刻得開發(fā)的一種高性價(jià)比的算力支持特性。它歸屬于UAI-Inference在線服務(wù)平臺，當(dāng)用戶選擇使用算力獨(dú)占模式(GPU節(jié)點(diǎn))時(shí)，為減少獨(dú)占資源在用戶無訪問時(shí)的資源浪費(fèi)，用降配資源支持服務(wù)待機(jī)的一種模式。

開啟Hot-Standby功能后，當(dāng)AI在線服務(wù)在30分鐘內(nèi)無任何請求時(shí)，系統(tǒng)會自動將AI在線服務(wù)遷移至降配資源池，大幅減少費(fèi)用支出，但降配節(jié)點(diǎn)仍然保證為GPU節(jié)點(diǎn)算力。同時(shí)，一旦有用戶請求，就會立刻恢復(fù)GPU獨(dú)占節(jié)點(diǎn)模式。

2、Hot-Standby究竟能省多少錢?

同樣我們列出了Hot-Standby模式與GPU、CPU模式下的價(jià)格與延時(shí)對比數(shù)據(jù)。

接下來我們用一個(gè)簡單的案例來算算Hot-Standby究竟能省多少錢?

某用戶新上線APP的AI在線服務(wù)功能還處于新產(chǎn)品推廣期間，用戶訪問量不大，每天只有1個(gè)半小時(shí)的高峰集中請求，平時(shí)幾乎無請求。為了保證應(yīng)用的實(shí)時(shí)性，根據(jù)業(yè)務(wù)量大小，用戶選擇了1個(gè)P40 GPU節(jié)點(diǎn)作為算力支撐。問題來了：使用一個(gè)月后，Hot-Standby功能可以為用戶省下多少錢?

A

* 不使用Hot-Standby：

(5.1/小時(shí)*節(jié)點(diǎn)*1節(jié)點(diǎn))*24小時(shí)/天*30天=3672元

* 使用Hot-Standby：

((0.99元/小時(shí)*1節(jié)點(diǎn))*22.5小時(shí)/天+(5.1元/小時(shí)*1節(jié)點(diǎn))*1.5小時(shí)/天)*30天=897.75元

* 可節(jié)省：

(3672-897.75)/3672=75%

可以看到，Hot-Standby功能開啟后，單GPU節(jié)點(diǎn)下可為用戶節(jié)省75%的開銷，微車正是應(yīng)用了該功能才解決了高成本投入的難題。

3、Hot-Standby如何在優(yōu)刻得控制臺上開啟?

最后，我們?yōu)榇蠹曳钌螲ot-Standby的功能使用指南。

(1)確認(rèn)服務(wù)類型為算力獨(dú)占模式

UAI-Inference分為兩種模式，在彈性服務(wù)模式下，平臺本身已經(jīng)精確按量計(jì)費(fèi)，在用戶無請求時(shí)是不收取任何費(fèi)用的，無需再設(shè)置Hot-Standby模式。因此首先需要確認(rèn)服務(wù)類型為獨(dú)占模式。

(2)開啟Hot-Standby功能

Hot-Standby被定義在自動伸縮規(guī)則下，用戶需要進(jìn)入伸縮管理界面打開Hot-Standby功能，由自動伸縮引擎統(tǒng)一執(zhí)行調(diào)整算力到降配節(jié)點(diǎn)及恢復(fù)算力到獨(dú)占節(jié)點(diǎn)等步驟。

(3)Hot-Standby的觸發(fā)規(guī)則

Hot-Standby主要受QPS影響，當(dāng)QPS降為0且維持30分鐘后，此時(shí)自動伸縮引擎會將當(dāng)前所有節(jié)點(diǎn)逐漸遷移到降配節(jié)點(diǎn)上，Hot-Standby特性被觸發(fā)。同時(shí)針對實(shí)際業(yè)務(wù)量大小，用戶可通過設(shè)置最小節(jié)點(diǎn)數(shù)量決定Hot-Standby降配的節(jié)點(diǎn)值。

最后我們來總結(jié)下， Hot-Standby功能適用于以下場景的用戶：

(1)業(yè)務(wù)本身對單節(jié)點(diǎn)算力要求高，需要使用獨(dú)占算力服務(wù)(GPU節(jié)點(diǎn));

(2)業(yè)務(wù)存在明顯的閑置期(無用戶訪問時(shí)段)，但又需要隨時(shí)待命實(shí)時(shí)響應(yīng)需求。

目前，Hot-Standby功能已經(jīng)在優(yōu)刻得北京二和上海二地域提供，歡迎前來試用體驗(yàn)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。