英特爾很嚇人AI技術(shù):神經(jīng)網(wǎng)絡(luò)處理器及VPU性能飆升3-4倍

這是我第二次見到Naveen Rao。

與初見一樣,聊到AI,他的話匣子一下被打開,一直有層出不窮的想法與理論冒出,滿腹經(jīng)綸,侃侃而談。

英特爾很嚇人AI技術(shù):神經(jīng)網(wǎng)絡(luò)處理器及VPU性能飆升3-4倍

英特爾全球副總裁兼人工智能產(chǎn)品事業(yè)部(AIPG)總經(jīng)理 Naveen Rao

與他這種溫暖的教授般的氣質(zhì)形成“反萌差”的是他對(duì)極限運(yùn)動(dòng)的熱愛。這位40剛出頭的AI專家還是一名運(yùn)動(dòng)健將,以至于在滑雪、滑板、騎自行車、駕駛賽車、摔跤和打籃球的生涯中,弄傷了全部手指。或許就是這樣一位冒險(xiǎn)家,更適合帶動(dòng)人工智能,在他創(chuàng)立的深度學(xué)習(xí)初創(chuàng)公司Nervana被英特爾收購后,Nervana被迅速整合到英特爾AI核心戰(zhàn)略之中,現(xiàn)在Rao已經(jīng)成為英特爾人工智能事業(yè)群(AIPG)的掌舵人。

Rao說來到英特爾,“這里是一個(gè)開放的文化”,他很喜歡團(tuán)隊(duì)合作,然而調(diào)用資源并不是一件容易的事,但英特爾在產(chǎn)品的市場(chǎng)化方面擁有豐富的經(jīng)驗(yàn),強(qiáng)大的向心力正將公司各部門之間扭成一股勁,朝著一個(gè)目標(biāo)通力協(xié)作。

在英特爾,實(shí)干永遠(yuǎn)比空談更重要。在英特爾首屆AI開發(fā)者大會(huì)上,由Rao率隊(duì)帶領(lǐng),英特爾人工智能業(yè)務(wù)相關(guān)部門的“狠角色”集中露面,這應(yīng)該是英特爾AI史上一次先例。要知道,除了英特爾內(nèi)部會(huì)議,能夠在公開場(chǎng)合看到一群“大?!比绱斯郧傻募谐霈F(xiàn),幾乎是零概率事件。

但英特爾并沒有讓人失望。

這一次它拿出了一支配置超高的英特爾“AI銀河戰(zhàn)隊(duì)”(姑且叫這名吧),如下圖,從左到右依次是:

英特爾很嚇人AI技術(shù):神經(jīng)網(wǎng)絡(luò)處理器及VPU性能飆升3-4倍

Jennifer Huffstetler,英特爾數(shù)據(jù)中心事業(yè)部副總裁兼數(shù)據(jù)中心產(chǎn)品和存儲(chǔ)營(yíng)銷總經(jīng)理

Reynette Au,英特爾可編程解決方案事業(yè)部副總裁

Jack Weast, 英特爾無人駕駛解決方案資深首席工程師兼首席架構(gòu)師

Gayle Sheppard,英特爾新技術(shù)事業(yè)部副總裁兼Saffron人工智能事業(yè)部總經(jīng)理

Remi El-Ouazzane,英特爾新技術(shù)事業(yè)部副總裁兼Moviduis總經(jīng)理

Jonathon Ballon,英特爾物聯(lián)網(wǎng)事業(yè)部副總裁

Naveen Rao, 英特爾公司副總裁兼人工智能產(chǎn)品事業(yè)部總經(jīng)理

盡管這陣容堪比漫威“復(fù)仇者聯(lián)盟”,但依舊有“大神”在畫框外。

英特爾很嚇人AI技術(shù):神經(jīng)網(wǎng)絡(luò)處理器及VPU性能飆升3-4倍

英特爾人工智能事業(yè)部副總裁、 Nervana團(tuán)隊(duì)核心成員Carey Kloss

Carey Kloss是英特爾人工智能事業(yè)群副總裁、 Nervana團(tuán)隊(duì)核心成員,雖然并沒有在上圖中出現(xiàn),但他向科技行者表達(dá)出對(duì)團(tuán)隊(duì)的熱愛,“英特爾有迄今為止我見過的最佳的后硅培養(yǎng)(post-silicon bring-up)和架構(gòu)分析。”也正因如此,Nervana神經(jīng)網(wǎng)絡(luò)處理器(Nervana Neural Network Processor,NNP)才獲得巨大提升。

事實(shí)上,NNP也是英特爾醞釀已久的“殺手锏”。在本次AI開發(fā)者大會(huì)上,Rao就爽快公開了英特爾新一代AI芯——英特爾Nervana NNP-L1000,代號(hào)為“Spring Crest”的專用人工智能芯片,而這款芯片也即將成為英特爾第一款商用神經(jīng)網(wǎng)絡(luò)處理器產(chǎn)品,并計(jì)劃在2019年發(fā)布。

盡管Rao并沒有再多透露新代AI芯片的細(xì)節(jié),但同為Nervana創(chuàng)始團(tuán)隊(duì)的Carey Kloss卻掌握著機(jī)密——我們當(dāng)然不會(huì)放過他。就在AI開發(fā)者大會(huì)期間,科技行者與他進(jìn)行了一次“接地氣”對(duì)話,原來打著“如意算盤”的英特爾還可以這樣玩。

Nervana NNP:新AI芯性能飆升3-4倍,但威力還沒完全釋放

在Rao長(zhǎng)達(dá)1小時(shí)的主題演講中,最重磅的發(fā)布非英特爾Nervana神經(jīng)網(wǎng)絡(luò)處理器莫屬了,它對(duì)英特爾的意義非同小可。

如果拿去年10月首次公布的“Lake Crest”(Nervana NNP系列初代芯片代號(hào))做一個(gè)比喻,可以說“Lake Crest”就像一場(chǎng)“及時(shí)雨”,成功幫助英特爾在AI專用芯片競(jìng)爭(zhēng)中站住腳。但英特爾卻提出了一個(gè)更大的目標(biāo),即到2020年要將深度學(xué)習(xí)訓(xùn)練的性能提升100倍。而Crest家族很可能成為英特爾目標(biāo)實(shí)現(xiàn)的最快途徑。

要知道一塊芯片的打造并非易事,如果背后沒有一支瘋狂、專注的芯片開發(fā)團(tuán)隊(duì),它也將是一塊不足掛齒的芯片。所以懂門道的內(nèi)行人更專注的問題是:Nervana神經(jīng)網(wǎng)絡(luò)處理器系列芯片背后的英特爾IC設(shè)計(jì)團(tuán)隊(duì),究竟是如何打造出這顆能在現(xiàn)有性能上再飆升3-4倍的“Spring Crest”?

雖然Carey Kloss口風(fēng)很緊,但關(guān)于Nervana神經(jīng)網(wǎng)絡(luò)處理器,科技行者還是在與他的聊天中,拿到以下犀利信息:

1、Lake Crest和Spring Crest的主要區(qū)別

Lake Crest作為第一代處理器,在GEMM(矩陣運(yùn)算)和卷積神經(jīng)上都實(shí)現(xiàn)了非常好的計(jì)算利用率。這不僅僅是指96%吞吐量的利用率,而是在沒有充分定制化的情況下,Nervana也在大多數(shù)情況下實(shí)現(xiàn)GEMM高于80%的計(jì)算利用率。當(dāng)開發(fā)下一代芯片時(shí),如果能夠保持高計(jì)算利用率,新的產(chǎn)品在性能上有3到4倍的性能提升。

2、Lake Crest計(jì)算利用率達(dá)到96%,為什么到Spring Crest不升反而降了?

這是一個(gè)市場(chǎng)策略,把利用率適當(dāng)下降。有些情況確實(shí)可以實(shí)現(xiàn)98%,在沒有資源沖突時(shí),每個(gè)硅芯片都完全運(yùn)行的情況下,可以達(dá)到99%甚至100%計(jì)算利用率。但英特爾想展示的是大多數(shù)情況下能能實(shí)現(xiàn)的利用率,所以適當(dāng)調(diào)整了。

3、為什么Nervana芯片的發(fā)布節(jié)奏一再延期?

分為兩個(gè)階段,Nervana在2014年成立之初就開始研發(fā)Lake Crest,,當(dāng)時(shí)整個(gè)團(tuán)隊(duì)大概45人,正在構(gòu)建一個(gè)最大的Die(硅芯片),我們開發(fā)了Neon(深度學(xué)習(xí)軟件),還構(gòu)建了云棧,這些都是小團(tuán)隊(duì)所完成的。但這也是挑戰(zhàn)所在,小團(tuán)隊(duì)成長(zhǎng)會(huì)有陣痛,Nervana花了很長(zhǎng)時(shí)間才把第一批產(chǎn)品拿出來,直到去年芯片才真正問世。關(guān)于Spring Crest為何選擇2019年年底推出,因?yàn)樾枰筛嗟腄ie(硅芯片),獲得更快的處理速度,但需要一定的時(shí)間去制造硅片,也需要硅片變成新的神經(jīng)網(wǎng)絡(luò)處理器,這是延遲的原因。目前來看,Spring Crest正處于合理的節(jié)奏中,已具備明年取得成功的所有要素。

4、延遲給英特爾帶來了哪些不利影響?

Carey Kloss并不認(rèn)為英特爾會(huì)在神經(jīng)網(wǎng)絡(luò)處理器上處于劣勢(shì),因?yàn)橛⑻貭柕姆磻?yīng)速度相對(duì)較快,比如逐步轉(zhuǎn)向bfloat是一個(gè)重要因素,它是業(yè)內(nèi)廣泛采用的針對(duì)神經(jīng)網(wǎng)絡(luò)的一種數(shù)值型數(shù)據(jù)格式,很受市場(chǎng)歡迎,未來英特爾將在人工智能產(chǎn)品線上擴(kuò)大對(duì)bfloat16的支持,包括至強(qiáng)處理器和FPGA。

5、拿nGraph與CUDA相比:沒在怕的

拋開硬件層面,英特爾還在軟件部署上加足馬力。目前,英特爾AIPG事業(yè)部正在開發(fā)名為nGraph的軟件,該軟件是一個(gè)框架中立的深度神經(jīng)網(wǎng)絡(luò)(DNN)模型編譯器。英特爾正在把TensorFlow、MXNet、Paddle Paddle、CNTK和ONNX等深度學(xué)習(xí)框架集成在nGraph之上。

同樣是一個(gè)平臺(tái)概念,很多人喜歡拿GPU代表企業(yè)英偉達(dá)與英特爾做比較,事實(shí)上,Carey Kloss就直言了nGraph與競(jìng)爭(zhēng)對(duì)手CUDA平臺(tái)的區(qū)別。

“nGraph與CUDA還是不一樣的。CUDA你可以理解為 nGraph的底面,我們稱之為變壓器。nGraph通過一個(gè)固定的API接收來自TensorFlow,Caffe或MXNet的輸入,然后通過圖形編譯器進(jìn)行性能優(yōu)化,排除一些不需要的東西,然后將其發(fā)送給CPU的MKL-DNN。所以CPU仍然使用MKL-DNN,即使在nGraph中也是如此?!安浑y看出,英特爾也有意把芯片開發(fā)放在統(tǒng)一平臺(tái)上,將nGraph打造成為開發(fā)基于所有英特爾芯片的AI應(yīng)用程序的接口做統(tǒng)一。

相比于新一代Nervana NNP-L1000還處于研發(fā)階段,英特爾另一款專注于計(jì)算機(jī)視覺的芯片VPU實(shí)際已經(jīng)商用。關(guān)于這款芯片,英特爾又寄托了怎樣的市場(chǎng)期望,來看另一位同樣在畫框外的大神的解答。

12下一頁>

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )

贊助商
2018-06-11
英特爾很嚇人AI技術(shù):神經(jīng)網(wǎng)絡(luò)處理器及VPU性能飆升3-4倍
這是我第二次見到Naveen Rao。與初見一樣,聊到AI,他的話匣子一下被打開,一直有層出不窮的想法與理論冒出,滿腹經(jīng)綸,侃侃而談。

長(zhǎng)按掃碼 閱讀全文