Horovod成就分布式深度學(xué)習(xí)金標(biāo)準(zhǔn)，Uber專家將在AI計(jì)算大會(huì)分享

大多數(shù)人對(duì)Uber在人工智能領(lǐng)域的認(rèn)知可能都來自于自動(dòng)駕駛，但實(shí)際上Uber在人工智能底層技術(shù)上也有卓越的貢獻(xiàn)，其開源的分布式深度學(xué)習(xí)框架Horovod是世界上最優(yōu)秀的人工智能訓(xùn)練加速框架之一，數(shù)以萬計(jì)的人工智能開發(fā)者和組織從中受益。8月28日，在北京舉行的2019人工智能計(jì)算大會(huì)(AICC2019)上，Uber深度學(xué)習(xí)平臺(tái)經(jīng)理寧旭將在大會(huì)主論壇上分享如何更好的使用Horovod加速AI模型訓(xùn)練。

Horovod流行的背后是AI算力需求的急劇增加

Horovod實(shí)質(zhì)上是Uber開發(fā)并開源的一套先進(jìn)的分布式系統(tǒng)，它并不依賴于某個(gè)框架，而是采用目前業(yè)界廣泛認(rèn)可的基于環(huán)形All-reduce通信的同步SGD算法，通過計(jì)算與通信異步、梯度合并、梯度壓縮等設(shè)備間通信優(yōu)化手段，完成allreduce、allgather等集體操作通信工作。這一特性使得Horovod可以非常方便地與主流深度學(xué)習(xí)框架TensorFlow、PyTorch、 MXNet等進(jìn)行匹配，在大規(guī)模GPU集群上的訓(xùn)練性能遠(yuǎn)高于原生框架的訓(xùn)練性能，提供非常高效的分布式訓(xùn)練性能加速。Horovod的另一大優(yōu)點(diǎn)在于其提供的接口極為簡(jiǎn)單，用戶只需修改幾行代碼，就可實(shí)現(xiàn)顯著的訓(xùn)練性能提升。

Horovod之所以受到越來越多AI開發(fā)者與研究機(jī)構(gòu)的青睞，其背后的原因在于越來越多的機(jī)器學(xué)習(xí)模型對(duì)數(shù)據(jù)和計(jì)算能力需求急劇增加。在大部分情況下，AI模型可以在單個(gè)或多GPU平臺(tái)的服務(wù)器上運(yùn)行，但隨著數(shù)據(jù)集的增大和訓(xùn)練時(shí)間的增長(zhǎng)，有時(shí)訓(xùn)練需要一周甚至更長(zhǎng)時(shí)間。因此，AI開發(fā)者們不得不尋求分布式訓(xùn)練方法來縮短模型訓(xùn)練的時(shí)間。

Uber分享Horovod的“獨(dú)家秘笈”

Uber目前已經(jīng)將深度學(xué)習(xí)應(yīng)用到了很多公司業(yè)務(wù)中，從自動(dòng)駕駛搜索路線到防御欺詐等。Uber深度學(xué)習(xí)平臺(tái)經(jīng)理寧旭認(rèn)為，訓(xùn)練現(xiàn)代復(fù)雜的深度學(xué)習(xí)模型需要大量的計(jì)算。將計(jì)算擴(kuò)展到多個(gè)GPU面臨兩大挑戰(zhàn)：低成本、高效的GPU間通信庫，以及用戶代碼可能會(huì)出現(xiàn)較大的更改。而Horovod成功地解決了這兩大難題。

在AICC2019上，寧旭將帶來《利用Horovod進(jìn)行分布式深度學(xué)習(xí)》的主題演講，不僅將現(xiàn)場(chǎng)分享如何通過Horovod在TensorFlow、Keras、PyTorch和MXNet中實(shí)現(xiàn)更快、更輕松的分布式訓(xùn)練，講解Horovod的操作方法，同時(shí)也將披露Uber最近在橡樹嶺國家實(shí)驗(yàn)室進(jìn)行的一項(xiàng)案例研究，講述Horovod在世界上最快的超級(jí)計(jì)算機(jī)上實(shí)現(xiàn)百億億級(jí)計(jì)算。

寧旭曾帶領(lǐng)Uber大數(shù)據(jù)和基礎(chǔ)設(shè)施領(lǐng)域的團(tuán)隊(duì)負(fù)責(zé)一些開源項(xiàng)目，在機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、大數(shù)據(jù)和大規(guī)模計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)問題方面有豐富的經(jīng)驗(yàn)。在加入U(xiǎn)ber之前，寧旭曾在Facebook、Akamai和Microsoft以及幾家初創(chuàng)公司工作。

AICC2019精彩紛呈

本屆AICC 2019可謂精彩紛呈，核心板塊為主論壇與自動(dòng)駕駛、產(chǎn)業(yè)AI創(chuàng)新、AI計(jì)算與基準(zhǔn)測(cè)試、AI+視覺計(jì)算、AI+創(chuàng)投五大主題論壇，其中主論壇嘉賓云集了來自中國工程院、英國皇家工程院、百度、中國新一代人工智能發(fā)展戰(zhàn)略研究院、浪潮、Facebook等機(jī)構(gòu)的AI產(chǎn)學(xué)研頂尖專家學(xué)者，共聚一堂解讀AI產(chǎn)業(yè)趨勢(shì)，分享前沿AI計(jì)算技術(shù)。大會(huì)同期舉行的AI千人訓(xùn)練營將邀請(qǐng)百度、平安科技、浪潮的資深A(yù)I工程師講解最新AI計(jì)算技術(shù)與應(yīng)用，幫助學(xué)員從零入門AI。

　　AICC 2019主論壇嘉賓陣容

與此同時(shí)，AICC2019大會(huì)期間還將重磅發(fā)布《2019-2020中國AI計(jì)算力發(fā)展報(bào)告》，公布中國AI計(jì)算力城市榜單與熱力分布等重要研究成果，為AI投資、創(chuàng)業(yè)與就業(yè)提供科學(xué)指導(dǎo)。

AICC大會(huì)由中國工程院信息與電子工程學(xué)部主辦，浪潮集團(tuán)承辦，旨在圍繞人工智能的產(chǎn)業(yè)需求研討AI計(jì)算，促進(jìn)AI技術(shù)創(chuàng)新、合作發(fā)展與人才培養(yǎng)。目前，AICC大會(huì)已成為AI計(jì)算領(lǐng)域最具分量的前沿技術(shù)交流平臺(tái)，每年都會(huì)吸引數(shù)千名AI產(chǎn)業(yè)與技術(shù)領(lǐng)袖、頂級(jí)AI專家和AI開發(fā)者等參與。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。