極視角黃河:極市,一個平臺解決AI算法開發(fā)落地的全部難題

12月24日,由騰訊云啟創(chuàng)新中心(珠海)和極視角聯(lián)合主辦的第二屆珠港澳人工智能開發(fā)者主題論壇暨算法大賽頒獎典禮在珠海電視臺新聞發(fā)布廳圓滿舉行。會上,極視角副總裁黃河作了《極市平臺產(chǎn)品和技術(shù)實踐》主題報告,報告分享了極市平臺的產(chǎn)品技術(shù)的底層邏輯。

極視角黃河:極市,一個平臺解決AI算法開發(fā)落地的全部難題

一個平臺解決AI算法開發(fā)落地的全部難題

黃河表示,在算法開發(fā)過程中,存在四個瓶頸常常導(dǎo)致算法“難產(chǎn)”:

1、缺少優(yōu)質(zhì)的一站式開發(fā)平臺,開發(fā)效率低;

2、算力成本高昂,算力資源的利用率低;

3、難以接觸大量真實有效的業(yè)務(wù)數(shù)據(jù),且數(shù)據(jù)安全性和隱私性難以保障;

4、算法測試耗時繁瑣,且難以評估落地有效性。

基于此,極視角打造了極市平臺。極市平臺是面向算法開發(fā)者打造的一站式全流程AI算法開發(fā)平臺,可以覆蓋從數(shù)據(jù)生產(chǎn)到算法落地一站式編碼、訓(xùn)練、測試、封裝、部署等全生命周期。極市平臺為算法開發(fā)者提供強大的基建設(shè)施支撐及豐富的工具引擎,將算法開發(fā)與工程化效率提升60%以上。

極市平臺打造了自動測試框架、數(shù)據(jù)安全沙箱、算力調(diào)度系統(tǒng)及異構(gòu)硬件兼容適配等多項關(guān)鍵技術(shù),相比傳統(tǒng)線下開發(fā)方式,大幅提升算法開發(fā)效率,一個平臺解決AI算法開發(fā)落地的全部難題。

開發(fā)效率躍升:一站式編碼和訓(xùn)練流程

極市平臺提供開箱即用的開發(fā)環(huán)境,內(nèi)置了Pytorch、TensorFlow等主流深度學(xué)習(xí)框架,開發(fā)者可以通過WEB界面直接使用流行的VSCode或Jupyter等IDE開發(fā)工具。開發(fā)環(huán)境內(nèi)置GIT代碼管理工具,并擁有開發(fā)環(huán)境自動保存機制,開發(fā)者可以隨時隨地進行開發(fā),而完全不必擔(dān)心數(shù)據(jù)或代碼丟失。極市平臺可以把AI算法開發(fā)的環(huán)境搭建過程從「天」級別縮短到「分鐘」級別,讓AI算法開發(fā)不受時間、地點的約束。

再也不用操心算力:算力調(diào)度系統(tǒng)保障資源合理調(diào)度

線下開發(fā)的過程中通常算力資源有限,一方面存在資源搶奪、排隊等候的情況;一方面可能存在資源空閑、資源浪費的情況。

極市平臺創(chuàng)立了基于積分制的算力資源管理系統(tǒng),在開發(fā)者參與編碼、訓(xùn)練、測試的過程中,通過其消耗的積分來作為算力使用的計量,并通過一套算力資源實時監(jiān)控系統(tǒng)保證算力資源的合理調(diào)度。例如在本次珠港澳大賽和打榜的任務(wù)中,算力利用率高達96%。

數(shù)據(jù)安全沙箱:平衡「真實」與「安全」

為了給開發(fā)者提供高質(zhì)量真實場景數(shù)據(jù),助力開發(fā)者生產(chǎn)出商用級品質(zhì)的算法,同時也保障數(shù)據(jù)提供者的數(shù)據(jù)隱私和合規(guī)要求,極市平臺開發(fā)了數(shù)據(jù)安全沙箱技術(shù)。其中,數(shù)據(jù)安全沙箱的網(wǎng)絡(luò)安全策略管理系統(tǒng),能夠把訓(xùn)練、測試環(huán)境完全隔離,實現(xiàn)了在不泄漏數(shù)據(jù)的同時又能讓算法工程師基于客戶真實數(shù)據(jù)訓(xùn)練模型和評估算法質(zhì)量。

為了幫助開發(fā)者實時監(jiān)控訓(xùn)練和測試,極市平臺的日志系統(tǒng)支持實時查看訓(xùn)練和測試的日志;并可通過可視化工具查看模型訓(xùn)練的指標,實現(xiàn)主動監(jiān)控訓(xùn)練狀態(tài);同時也支持無人值守訓(xùn)練,錯誤消息通知、訓(xùn)練進展定制化提醒、訓(xùn)練結(jié)束通知等。讓開發(fā)者無時無刻對自己的開發(fā)訓(xùn)練工作狀態(tài)了如指掌。

自動測試助力快速評測:EV_SDK 保障快速自動測試

完成算法的自動測試需要解決3個難題:

1、如何兼容不同算法框架;

2、如何讓算法輸入輸出標準化;

3、如何正確評估算法性能及精度。

極市平臺提供標準化封裝框架EV_SDK,通過抽象出AI算法分析過程中涉及的初始化、輸入、推理、輸出等核心接口,形成一套兼容不同算法框架和算法任務(wù)的標準化工具。有了統(tǒng)一的封裝框架后,一方面,可以解決自動測試及評估的難題;另一方面,算法工程化也可以實現(xiàn)標準化,由極市平臺以安裝包的形式進行標準化的部署落地。開發(fā)者只需要專注于模型的開發(fā)及核心算法邏輯的實現(xiàn),不必關(guān)注繁瑣的算法測試環(huán)節(jié)。

極市平臺作為面向算法開發(fā)者的高度集成開發(fā)訓(xùn)練平臺,助力開發(fā)者提高算法開發(fā)效率,增強算法模型的實用性和范化性,幫助算法快速工程落地。

過去5年,以極市平臺為核心所建立起來的極市開發(fā)者生態(tài),已經(jīng)匯聚超20萬海內(nèi)外專業(yè)算法開發(fā)者。極市開發(fā)者生態(tài)幫助開發(fā)者豐富前沿算法知識、提升算法工程化能力、實現(xiàn)算法產(chǎn)品化和技術(shù)變現(xiàn)。極市希望與開發(fā)者們共同打造計算機視覺行業(yè)的生態(tài)圈,攜手用算法改變世界。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )