聯(lián)想用萬(wàn)全智算,畫出中國(guó)AI的山脊

如果我們把歐亞大陸看作一個(gè)整體,會(huì)發(fā)現(xiàn)中國(guó)是一個(gè)有幾座山脈的超大半島,橫斷山脈與天山、陰山、昆侖山、南嶺、大興安嶺,一橫五縱的山脊,描繪出了中華大地的輪廓。

一方水土的休養(yǎng)生息,需要山脈作為屏障;一項(xiàng)科技的崛起與發(fā)展,需要基礎(chǔ)設(shè)施作為支撐。

伴隨著“人工智能+”行動(dòng)的開展,AI技術(shù)在中國(guó)迎來了新的發(fā)展高峰。但如果沒有基礎(chǔ)設(shè)施層面AI算力的有效供給,AI算法的發(fā)展,企業(yè)對(duì)AI應(yīng)用都將變成無(wú)本之木,無(wú)源之水。

發(fā)展AI技術(shù),首先需要構(gòu)筑算力山脈。通過智能算力,把AI產(chǎn)業(yè)切實(shí)保護(hù)起來,支撐起來。尤其需要注意的是,這種構(gòu)筑并不是簡(jiǎn)單的算力供給,而是需要切實(shí)應(yīng)對(duì)企業(yè)在智算運(yùn)用過程中的挑戰(zhàn),提升算力效率,降低算力門檻。

中國(guó)AI的算力山脈,究竟如何勾勒?

聯(lián)想認(rèn)為,異構(gòu)智算就是答案。

4月18日,第十屆聯(lián)想創(chuàng)新科技大會(huì)Tech World在上海舉行。期間,聯(lián)想提出融合了公共大模型、個(gè)人級(jí)大模型和企業(yè)大模型的混合式人工智能是未來大勢(shì)所趨。這個(gè)過程中,AI大模型將在各個(gè)行業(yè)深入落地,由此帶來了智能算力的指數(shù)級(jí)增長(zhǎng),對(duì)中國(guó)AI基礎(chǔ)設(shè)施提出了全新要求。

為了幫助千行百業(yè)應(yīng)對(duì)混合式人工智能帶來的基礎(chǔ)設(shè)施之變,聯(lián)想ISG提出了一橫五縱的發(fā)展戰(zhàn)略。

一橫五縱背后,是聯(lián)想希望用平臺(tái)打通,以產(chǎn)品組合的方式,打造更可滿足當(dāng)下AI需求的基礎(chǔ)設(shè)施集群,畫出屬于中國(guó)AI的山脊。

AI時(shí)代,智算就是山脊

如果一片土地沒有山脊保護(hù),就很容易受到風(fēng)沙與冷空氣的侵蝕,從而各種自然災(zāi)害頻發(fā)。中華文明能夠延綿不絕,也有賴于幾條雄偉山脊的護(hù)佑。

在AI領(lǐng)域,如果說算法是土壤,應(yīng)用是莊稼,那么算力就是保護(hù)這片土地的山脊,只有山脊夠高夠強(qiáng),土地才有蓬勃生機(jī)。

2023年,中國(guó)出現(xiàn)了“百模大戰(zhàn)”的盛況,涌現(xiàn)出了龐大的AI應(yīng)用場(chǎng)景與相應(yīng)的智算需求。

根據(jù)《2023—2024年中國(guó)人工智能計(jì)算力發(fā)展評(píng)估報(bào)告》,2023年中國(guó)AI算力市場(chǎng)規(guī)模將達(dá)到664億元,同比增長(zhǎng)82.5%。預(yù)計(jì)到2030年,人工智能驅(qū)動(dòng)的全球算力將增長(zhǎng)500倍。

過快的AI算力需求擴(kuò)張,帶來了一系列相關(guān)問題。如果說AI算力是整個(gè)AI產(chǎn)業(yè)生態(tài)的山巒屏障,那么今天的情況就是AI算法與應(yīng)用發(fā)展過快,社會(huì)各界對(duì)AI期望極大。在基礎(chǔ)設(shè)施層,我們需要快速去填補(bǔ)AI算力的空白,為中國(guó)AI筑起算力高山。

想要實(shí)現(xiàn)這個(gè)目標(biāo),需要破解幾項(xiàng)關(guān)鍵的挑戰(zhàn)。中國(guó)AI算力當(dāng)前的核心難點(diǎn)在于:

1.算力供需失衡。AI算力處在供給遠(yuǎn)不能滿足需求的情況,且將長(zhǎng)期保持。這就需要我們珍惜已有且面向未來的所有AI算力,最大化滿足多元智算需求。

2.算力應(yīng)用卡點(diǎn)多。企業(yè)應(yīng)用AI算力,需要依賴于多層級(jí)的智能化基礎(chǔ)設(shè)施,端、邊、云、網(wǎng)等條件缺一不可,需要進(jìn)行全方位適配AI算力的基礎(chǔ)設(shè)施更新。在企業(yè)智算實(shí)踐中,面臨著諸如針對(duì)場(chǎng)景匹配算法,提升AI算力利用率等問題。能力多樣、切中要害的異構(gòu)智算平臺(tái)建設(shè)迫在眉睫。

3.算力生態(tài)不完善。智算基礎(chǔ)設(shè)施的推廣和普及,需要依賴軟硬件多方面的適配,以及行業(yè)開發(fā)者的配合,這就導(dǎo)致智算生態(tài)的建設(shè)至關(guān)重要。

面對(duì)這些問題與挑戰(zhàn),聯(lián)想ISG回歸基礎(chǔ)設(shè)施更新的基本邏輯,為中國(guó)AI發(fā)展畫下了一橫五縱的山脊。

一橫五縱,畫出山川連綿

想筑造AI時(shí)代的智算山脊,需要先有一張藍(lán)圖。

在下筆畫這張藍(lán)圖之前,需要先思考兩個(gè)問題。橫向來看,AI時(shí)代多元計(jì)算成為必然趨勢(shì),需要一個(gè)平臺(tái)承載廣泛且多元的算力需求。縱向來看,AI大模型的訓(xùn)推效果取決于諸多條件,存、算、網(wǎng)等基礎(chǔ)設(shè)施缺一不可。

橫可承載智算,縱有產(chǎn)品周全,這樣的“畫意”驅(qū)動(dòng)著聯(lián)想落筆畫出智算山川。在聯(lián)想的“AI for All”戰(zhàn)略下,聯(lián)想ISG推動(dòng)了基礎(chǔ)設(shè)施領(lǐng)域全面適配AI的深入變化,以“端-邊-云-網(wǎng)-智”新IT架構(gòu)打造混合式AI基礎(chǔ)設(shè)施。

(聯(lián)想集團(tuán)副總裁、中國(guó)基礎(chǔ)設(shè)施業(yè)務(wù)群總經(jīng)理陳振寬)

聯(lián)想集團(tuán)副總裁、中國(guó)基礎(chǔ)設(shè)施業(yè)務(wù)群總經(jīng)理陳振寬認(rèn)為,“在人工智能1.0時(shí)代,基于全球智慧和本地創(chuàng)新,聯(lián)想打造了全面的基礎(chǔ)設(shè)施產(chǎn)品組合,包括計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、邊緣和超融合,并在通用計(jì)算、科學(xué)計(jì)算和AI計(jì)算等不同算力領(lǐng)域獲得大量的最佳實(shí)踐,幫助千行百業(yè)的客戶取得成功”。陳振寬表示,“如今大模型開啟的AI?2.0時(shí)代已經(jīng)邁著大步朝我們走來,我們需要重塑過去積累的技術(shù),來全面升級(jí)聯(lián)想基礎(chǔ)設(shè)施”。

分析聯(lián)想在AI基礎(chǔ)設(shè)施層面的策略與行動(dòng),可以將其歸納為“一橫五縱”。

“一橫”,即異構(gòu)智算平臺(tái)。

通過實(shí)現(xiàn)對(duì)通用計(jì)算集群、科學(xué)計(jì)算集群和AI算力集群進(jìn)行統(tǒng)一管理,并對(duì)多種CPU、GPU、DPU等處理器進(jìn)行異構(gòu)管理調(diào)度,聯(lián)想打造了更加符合AI計(jì)算需求的異構(gòu)算力底座。

在AI基礎(chǔ)設(shè)施領(lǐng)域,聯(lián)想聚焦三大領(lǐng)域的創(chuàng)新。首先是為用戶匹配經(jīng)過驗(yàn)證優(yōu)化的最佳算力。第二是賦能用戶充分利用算力,提升計(jì)算效率。第三則是以先進(jìn)的液冷技術(shù)幫助用戶節(jié)能增效且突破芯片散熱的瓶頸。

聯(lián)想萬(wàn)全異構(gòu)智算平臺(tái),匯集了這三大能力,為AI 2.0時(shí)代帶來了五大技術(shù)創(chuàng)新,其中包括:

1.用戶智能匹配算力的算力匹配魔方。基于海量的硬件評(píng)測(cè)和AI算子算法集成工作,聯(lián)想構(gòu)建了AI場(chǎng)景與算法與集群硬件三者匹配關(guān)系的算力魔方知識(shí)庫(kù),來標(biāo)識(shí)AI場(chǎng)景、算法、集群配置這三者的匹配關(guān)系。用戶只需輸入場(chǎng)景和數(shù)據(jù),算力魔方即可自動(dòng)加載最優(yōu)算法,并調(diào)度最佳集群配置。

2.逼近GPU算力極限的GPU內(nèi)核態(tài)虛擬化。聯(lián)想研究院開發(fā)了在GPU驅(qū)動(dòng)層的內(nèi)核態(tài)虛擬化算法,新算法可以將虛擬化造成的GPU算力損耗降到5%以下,極致情況可以降到1%以下,大幅提升GPU利用率。

3.提升網(wǎng)絡(luò)通信效率的聯(lián)想集合通信算法庫(kù)。可實(shí)現(xiàn)對(duì)多類型網(wǎng)絡(luò)拓?fù)涞膶?shí)時(shí)感知,并以先進(jìn)算法使數(shù)據(jù)在拓?fù)渲幸宰罴崖窂竭M(jìn)行傳輸。以千卡規(guī)模集群為例,采用集成了聯(lián)想集合通信庫(kù)的聯(lián)想異構(gòu)智算平臺(tái)做管理調(diào)度,可使網(wǎng)絡(luò)通信效率提升超10%,并且集群規(guī)模越大,效果越顯著。

4.減少AI訓(xùn)練中斷時(shí)間的AI高效斷點(diǎn)續(xù)訓(xùn)技術(shù)。聯(lián)想異構(gòu)智算平臺(tái)對(duì)大量的AI訓(xùn)練故障進(jìn)行了特征采樣,開發(fā)了預(yù)測(cè)AI訓(xùn)練故障的AI模型,實(shí)現(xiàn)“用AI來預(yù)測(cè)AI”。在斷點(diǎn)前提前優(yōu)化備份,由此能將斷點(diǎn)續(xù)訓(xùn)恢復(fù)時(shí)間縮減到分鐘級(jí),大幅提升訓(xùn)練效率,以千卡集群為例,每月可節(jié)約上百萬(wàn)元算力費(fèi)用支出,讓寶貴的AI算力持續(xù)可用。

5.AI與HPC集群超級(jí)調(diào)度器。針對(duì)混合集群做資源共享需求,聯(lián)想AI與HPC超級(jí)調(diào)度器架構(gòu)于AI和HPC調(diào)度之上,能夠切換AI和HPC的調(diào)度,從而滿足科學(xué)計(jì)算等場(chǎng)景的HPC與AI計(jì)算間的調(diào)度需求。它可以切換“語(yǔ)言”分別指揮AI和HPC調(diào)度器,可跨集群全局動(dòng)態(tài)管理和調(diào)度算力資源,一小時(shí)內(nèi)自動(dòng)完成跨集群資源調(diào)度和共享。

在五大技術(shù)創(chuàng)新的合力下,異構(gòu)智算平臺(tái)形成了一個(gè)能高度自動(dòng)化完成AI全流程開發(fā)的平臺(tái)。

從用戶視角看,向平臺(tái)輸入場(chǎng)景需求和數(shù)據(jù)后,即可將計(jì)算過程交給平臺(tái)自動(dòng)完成,平臺(tái)就像一個(gè)計(jì)算魔盒,能夠自動(dòng)優(yōu)化數(shù)據(jù)和模型,自動(dòng)匹配和調(diào)度算力,自動(dòng)對(duì)計(jì)算的全過程進(jìn)行監(jiān)控,直到最終輸出模型或是推理服務(wù)。

以異構(gòu)智算平臺(tái)為基礎(chǔ),企業(yè)多樣化、實(shí)踐化的AI算力需求都可以得到妥善滿足,并且能夠獲得高可用、高效率、高能效的AI計(jì)算體驗(yàn)。

AI算力需要與軟硬件基礎(chǔ)進(jìn)行配合,才能得到最大化的價(jià)值釋放。因此,聯(lián)想打造了“五縱”,即服務(wù)器,存儲(chǔ),數(shù)據(jù)網(wǎng)絡(luò),軟件及超融合以及邊緣基礎(chǔ)設(shè)施產(chǎn)品。

在基礎(chǔ)設(shè)施市場(chǎng)中,聯(lián)想多樣化的產(chǎn)品取得了顯著優(yōu)勢(shì)。根據(jù)IDC發(fā)布的《2023第四季度中國(guó) x86服務(wù)器市場(chǎng)追蹤報(bào)告》顯示,聯(lián)想環(huán)比增速居中國(guó)x86服務(wù)器市場(chǎng)第一,領(lǐng)先市場(chǎng)整體增速80個(gè)百分點(diǎn)。而在去年11月舉辦的第五屆中國(guó)超級(jí)算力大會(huì)(ChinaSC 2023)公布的最新一期“中國(guó)高性能計(jì)算機(jī) TOP100 排行榜”中,聯(lián)想上榜43套,獲得年度數(shù)量總份額冠軍。這也是聯(lián)想第九次問鼎并蟬聯(lián)中國(guó)高性能計(jì)算TOP100數(shù)量份額第一。

通過五大產(chǎn)品線的并行與配合,可以滿足中國(guó)AI基礎(chǔ)設(shè)施廣泛而多元的迭代需求。

以一橫五縱的山脊為基礎(chǔ),智算生態(tài)可以生生不息,智算應(yīng)用可以曠野花開。

山青水綠,滋養(yǎng)生態(tài)萬(wàn)全

有了山脊護(hù)佑,還需要在山脊間的平原播種萬(wàn)物,培育生態(tài)。為了讓一橫五縱的智算山脊真正發(fā)揮價(jià)值,聯(lián)想還需要為智算生態(tài)添加動(dòng)力。

在異構(gòu)智算的大潮下,聯(lián)想基礎(chǔ)設(shè)施業(yè)務(wù)群成功躋身人工智能基礎(chǔ)設(shè)施領(lǐng)域全球三甲。與此同時(shí),聯(lián)想基礎(chǔ)設(shè)施業(yè)務(wù)群正在中國(guó)市場(chǎng)開啟一場(chǎng)復(fù)興之旅。去年,在中國(guó)市場(chǎng)實(shí)現(xiàn)了銷售額21%的大幅增長(zhǎng),并且贏回了一系列重要客戶。在進(jìn)一步挖掘智算潛力,激活市場(chǎng)空間,聯(lián)想需要生態(tài)的支持,也需要為生態(tài)伙伴創(chuàng)造發(fā)展機(jī)遇。

為此,聯(lián)想希望在智算領(lǐng)域搭建一個(gè)萬(wàn)全生態(tài)。所謂萬(wàn)全,是指生態(tài)包羅萬(wàn)法,可以保用戶算力以周全,保用戶的AI基礎(chǔ)設(shè)施投資回報(bào)以周全

為了搭建這樣的生態(tài),聯(lián)想希望在生態(tài)中貢獻(xiàn)硬件能力和異構(gòu)智算平臺(tái)的集群管理調(diào)度能力,并且要實(shí)現(xiàn)對(duì)算力生態(tài)的包容,即硬件會(huì)兼容xPU生態(tài)硬件,異構(gòu)智算平臺(tái)會(huì)集成xPU底層軟件,并且以extended UI的方式對(duì)接集成AI工具鏈生態(tài),讓各類智算需求都能在開放的平臺(tái)生態(tài)中得到滿足。

在Tech World的“異構(gòu)智算 多元生態(tài)”聯(lián)想智算產(chǎn)業(yè)生態(tài)創(chuàng)新論壇上。聯(lián)想集團(tuán)與中國(guó)智能計(jì)算產(chǎn)業(yè)聯(lián)盟共同發(fā)起并成立異構(gòu)智算產(chǎn)業(yè)生態(tài)聯(lián)盟,聯(lián)合產(chǎn)業(yè)頭部生態(tài)伙伴共建聯(lián)想萬(wàn)全生態(tài)。據(jù)介紹,異構(gòu)智算產(chǎn)業(yè)生態(tài)聯(lián)盟框架由AI芯片層、AI設(shè)備與系統(tǒng)層和AI平臺(tái)與應(yīng)用層,能夠?qū)崿F(xiàn)從IaaS平臺(tái)、AI訓(xùn)練與推理到行業(yè)場(chǎng)景解決方案的全覆蓋。

目前,異構(gòu)智算產(chǎn)業(yè)生態(tài)聯(lián)盟首批共計(jì)13家成員單位已加盟。生態(tài)聯(lián)盟成立后,將陸續(xù)發(fā)布異構(gòu)智算最新成果,計(jì)劃推動(dòng)《國(guó)際人工智能算力性能排行榜——AIPerf500》評(píng)選,共創(chuàng)及發(fā)布《異構(gòu)智算白皮書》以及《2024國(guó)家行業(yè)發(fā)展報(bào)告(智能計(jì)算方向)》等內(nèi)容,引導(dǎo)中國(guó)智算產(chǎn)業(yè)健康發(fā)展。

面向未來,萬(wàn)全異構(gòu)智算生態(tài)將為處于算力選擇期的中國(guó)用戶提供豐富的一站式的方案來適應(yīng)多樣化的AI應(yīng)用場(chǎng)景,并且將通過生態(tài)全鏈條的緊密合作調(diào)優(yōu),不斷提升算力效率,破解AI帶來的算力荒與能耗荒。

異構(gòu)智算生態(tài)的蓬勃發(fā)展下,我們已經(jīng)可以在一橫五縱的智算山脊中,看到中國(guó)智算生態(tài)的盎然生機(jī)。

山澤浩瀚,以振智能中國(guó)

在技術(shù)與產(chǎn)品的山脊下,在智算生態(tài)的勃發(fā)中,聯(lián)想的智算能力正在一個(gè)個(gè)產(chǎn)品,一個(gè)個(gè)案例中生長(zhǎng)出來。

在產(chǎn)品方面,不久之前聯(lián)想剛剛成功交付了可搭載國(guó)產(chǎn)AI算力芯片的聯(lián)想問天WA5480 G3服務(wù)器。其具備多芯算力、靈活拓?fù)?、安全可靠三大特色,能夠滿足自主化與AI算力需求的雙重結(jié)合。

在應(yīng)用方面,聯(lián)想已經(jīng)成為大量領(lǐng)軍企業(yè)的智能化合作伙伴,異構(gòu)智算的價(jià)值釋放到了千行百業(yè)當(dāng)中。在吉利汽車、紫金云、阿里云等核心用戶的應(yīng)用案例中,都可以見到聯(lián)想一橫五縱產(chǎn)品帶來的驚喜。

一橫五縱戰(zhàn)略的核心落腳點(diǎn),在于“實(shí)”。

歸根結(jié)底,將AI大模型從一種技術(shù)上的可行性,變?yōu)榍邪贅I(yè)生產(chǎn)場(chǎng)景中的可用性,需要一系列先決條件的搭建和滿足。異構(gòu)計(jì)算、算法匹配、能耗問題、生態(tài)合作需求等問題,都擺在從AI大模型到新質(zhì)生產(chǎn)力之間。二者之間,什么都不做就是萬(wàn)水千山,有心為之就是通衢大道。

聯(lián)想ISG打造的一橫五縱,就是這樣一條通衢。其從現(xiàn)實(shí)場(chǎng)景,真實(shí)行業(yè)的智算需求出發(fā),有問題就解決問題,需要產(chǎn)品就打造產(chǎn)品,需要生態(tài)就建設(shè)生態(tài)。最終讓AI的山澤浩瀚,借由智算山脊的地勢(shì),流入千行百業(yè)的田野。

新質(zhì)生產(chǎn)力,由此而盤活;中國(guó)產(chǎn)業(yè)智能化的腳步,由此而加速。

在智算山脊之下,中國(guó)AI正草長(zhǎng)鶯飛,蓬勃萬(wàn)全。

免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個(gè)人觀點(diǎn),與極客網(wǎng)無(wú)關(guān)。文章僅供讀者參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。

極客網(wǎng)企業(yè)會(huì)員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2024-04-25
聯(lián)想用萬(wàn)全智算,畫出中國(guó)AI的山脊
聯(lián)想用萬(wàn)全智算,畫出中國(guó)AI的山脊

長(zhǎng)按掃碼 閱讀全文