少年正當(dāng)時，華為云攜手上海交大讓無人車云上飛馳

作為戰(zhàn)略新興產(chǎn)業(yè),人工智能已經(jīng)開始廣泛應(yīng)用于多個領(lǐng)域。今年,華為云便圍繞自動駕駛技術(shù)攜手上海交通大學(xué)創(chuàng)新中心舉辦了華為云人工智能大賽·無人車挑戰(zhàn)杯(以下簡稱無人車挑戰(zhàn)杯大賽),針對參賽者的在無人車檢測算法方面的開發(fā)難點(diǎn),華為云為選手提供了面向開發(fā)者的華為云全流程模型生產(chǎn)服務(wù)——ModelArts,不僅可以輔助開發(fā)者完成數(shù)據(jù)準(zhǔn)備、算法開發(fā)、模型訓(xùn)練、調(diào)參優(yōu)化、模型部署以及AI開發(fā)全流程管理等,極大地提升了參賽者的開發(fā)效率。

01 數(shù)據(jù)準(zhǔn)備

算法開發(fā)往往需要用到大量的訓(xùn)練數(shù)據(jù)。

ModelArts支持計算機(jī)視覺、自然語言處理、音視頻等多種AI場景的數(shù)據(jù)標(biāo)注,同時提供豐富的標(biāo)注圖形,包括矩形、多邊形、圓形、點(diǎn)、直線、虛線等。通過預(yù)置算法和用戶自定義算法可實(shí)現(xiàn)數(shù)據(jù)的自動標(biāo)注,然后人工進(jìn)行僅需少量的手工修正即可。如下圖所示,標(biāo)注人員可通過簡單標(biāo)識后,由工具自動化標(biāo)識準(zhǔn)確信息,如輪廓信息,在特定場景下可提升手工標(biāo)注效率10倍,大大提升數(shù)據(jù)準(zhǔn)備的效率。

針對無人車檢測算法開發(fā)的數(shù)據(jù)準(zhǔn)備環(huán)節(jié),參賽者首先可以使用無人車上的華為云HiLens Kit攝像頭來采集交通燈、泊車位圖片數(shù)據(jù);然后將采集好的數(shù)據(jù)上傳至OBS桶中,并在ModelArts物體檢測標(biāo)注作業(yè);接下來進(jìn)行少量的人工標(biāo)注后,可以啟動智能標(biāo)注;待智能標(biāo)注完成后再進(jìn)行人工確認(rèn)標(biāo)注結(jié)果,即完成了數(shù)據(jù)的準(zhǔn)備工作。

02 算法開發(fā)

ModelArts集成了所有主流的AI算法框架,包括TensorFlow、PyTorch、MXNet、Caffe等,同時提供友好的算法開發(fā)和調(diào)測環(huán)境Jupyter Notebook,基于以上,AI開發(fā)門檻得以降低,過程得以簡化。

由于本次大賽無人車檢測算法需要在昇騰310芯片運(yùn)行,因此參賽者需基于Caffe框架來開發(fā)交通燈、泊車位的檢測算法。為了讓參賽者快速熟悉ModelArts、熟悉基于Caffe框架的開發(fā),比賽官方提供了基于Caffe使用SSD算法開發(fā)的端到端的基礎(chǔ)示例代碼。參賽者可準(zhǔn)備好數(shù)據(jù)后,直接在示例代碼基礎(chǔ)上進(jìn)行算法的優(yōu)化,這也大大降低了參賽者的開發(fā)門檻。

ModelArts還內(nèi)置了多種預(yù)置算法,可以幫助開發(fā)者快速生成模型。通常,深度學(xué)習(xí)領(lǐng)域需要大規(guī)模的加速計算,這需要大規(guī)模GPU集群進(jìn)行分布式加速。而現(xiàn)有的開源框架需要開發(fā)者編寫大量代碼實(shí)現(xiàn)在不同硬件上的分布式訓(xùn)練,而不同框架的加速代碼又都不相同。為了解決這些痛點(diǎn),需要一種輕型的分布式框架或SDK。ModelArts的MoXing構(gòu)建于TensorFlow、MXNet等框架之上,使得這些計算引擎分布式性能更高、易用性更好。

03 模型訓(xùn)練

加速模型訓(xùn)練、簡化調(diào)參難度對于用戶來說是尤為重要的。ModelArts通過級聯(lián)式混合并行技術(shù)等各類優(yōu)化技術(shù),在同樣的模型、數(shù)據(jù)集和同等硬件資源情況下,使得模型訓(xùn)練耗時降低一半,尤其是大規(guī)模集群訓(xùn)練線性加速比達(dá)0.8。同時,ModelArts通過模型自動搜索、遷移學(xué)習(xí)、模型自動選擇、超參自動化等協(xié)同優(yōu)化來實(shí)現(xiàn)訓(xùn)練自動化。在深度學(xué)習(xí)模型訓(xùn)練方面,ModelArts將分布式加速層、自動化算法層抽象出來,形成一套通用的框架——MoXing,在自動混合精度訓(xùn)練、動態(tài)超參調(diào)整基數(shù)、模型梯度自動融合拆分等方面都進(jìn)行了優(yōu)化。

在硬件資源方面,ModelArts提供了公共資源池、專屬資源池,CPU、GPU(1*P100、1*P4、8*P100、8*V100等)多種實(shí)例規(guī)格。豐富的、大規(guī)模計算資源可滿足用戶各種訓(xùn)練作業(yè)需求。

可以說,無論是在算法優(yōu)化上,還是在硬件資源上,ModelArts都大大幫助了參賽者快速地開發(fā)出無人車檢測算法。

04 模型部署

ModelArts不僅支持云上在線推理、批量推理,還支持將模型部署到邊緣側(cè)和端側(cè),滿足大并發(fā)和分布式等多種場景需求。而本次大賽參賽者就是先在ModelArts平臺上開發(fā)的無人車檢測算法,然后部署到HiLens Kit智能攝像頭上。

05 AI開發(fā)全流程管理

借助ModelArts AI可視化全流程管理工具,參賽者可輕松管理交通燈和泊車位的數(shù)據(jù)集版本、訓(xùn)練版本、模型版本,進(jìn)而提高模型優(yōu)化的效率。

ModelArts支持?jǐn)?shù)據(jù)集、訓(xùn)練、模型版本管理,可實(shí)現(xiàn)千萬級的模型、數(shù)據(jù)集以及服務(wù)等對象管理,并且無需人工干預(yù),自動生成溯源圖,選擇任一模型都可以輕松找到對應(yīng)的數(shù)據(jù)集、訓(xùn)練、模型部署。尤其是訓(xùn)練斷點(diǎn)接續(xù)和訓(xùn)練結(jié)果比對,這些實(shí)用功能都大大受到AI開發(fā)者的好評。

目前,ModelArts已助力華為自動駕駛平臺,高效管理AI數(shù)據(jù)處理流程,包括采集、篩選、混合標(biāo)注和數(shù)據(jù)溯源,大大縮減了數(shù)據(jù)處理時間;利用分布式集群訓(xùn)練,提升了模型訓(xùn)練效率。40T原始數(shù)據(jù)處理從8000人天縮短到80人天,AI模型開發(fā)周期從數(shù)月縮短到周。

此外,值得一提的是華為云自動駕駛云服務(wù)Octopus也正是基于ModelArts,圍繞數(shù)據(jù)和模型,提供端到端的自動駕駛業(yè)務(wù),包括數(shù)據(jù)集、標(biāo)注、算法、訓(xùn)練、模型?？梢灶A(yù)見,隨著自動駕駛領(lǐng)域的發(fā)展,華為云ModelArts將助力推動汽車產(chǎn)業(yè)智能發(fā)展。

現(xiàn)在,華為云雙十一上云普惠季正在火熱進(jìn)行中,四大促銷專場已開放,優(yōu)惠多多,快來華為云官網(wǎng)選購吧!

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。