工程院院士高文：沒有大算力做大模型就是天方夜譚

7月7日消息，中國(guó)工程院院士、鵬城實(shí)驗(yàn)室主任高文 6 日在2023世界人工智能大會(huì)（WAIC2023）昇騰人工智能產(chǎn)業(yè)高峰論壇上演講時(shí)表示，沒有大算力做大模型就是天方夜譚，這就和電力是一樣的，可以省點(diǎn)電做出什么產(chǎn)品來(lái)，別人真正懂行的人聽了都不信的，一定要有算力作為基礎(chǔ)。

“美國(guó)的算力現(xiàn)在指數(shù)是排第一，比我們大概多了 30% 的算力，那么也就代表 GDP 也比我們多 30%，什么時(shí)候我們的算力超過了美國(guó)，咱們的 GDP 就可以超過美國(guó)了?！?/p>

他表示，從現(xiàn)在開始，算力也是數(shù)字經(jīng)濟(jì)發(fā)展的一個(gè)指數(shù)，算力夠，你的數(shù)字經(jīng)濟(jì)就能夠發(fā)展好，不夠就發(fā)展不好。

以下為高文演講全文：

各位專家、各位領(lǐng)導(dǎo)，大家下午好！

前面的領(lǐng)導(dǎo)都講得很好，算力是非常重要的一件事，今天上午陳書記在講的時(shí)候也講到，上要抓三件大事，人工智能方面其中就有一個(gè)是算力建設(shè)，算力建設(shè)非常重要的一方面，就像電力一樣。

從現(xiàn)在開始，算力也是數(shù)字經(jīng)濟(jì)發(fā)展的一個(gè)指數(shù)，你算力夠，你的數(shù)字經(jīng)濟(jì)就能夠發(fā)展好，不夠就發(fā)展不好。所以，特別是智能算力就非常關(guān)鍵。

所以跟大家分享關(guān)于鵬城云腦的智算平臺(tái)，再就是分享一下在這個(gè)平臺(tái)上面做的鵬城腦海大模型。

首先，我們說(shuō)算力很重要，重要到什么程度呢？

清華大學(xué)的一個(gè) 2022 年的咨詢報(bào)告說(shuō)到了，經(jīng)過統(tǒng)計(jì)計(jì)算力指數(shù)和 GDP 是正相關(guān)的關(guān)系，你算力越強(qiáng)你的 GDP 就越強(qiáng)，最右邊的圖可以看到，美國(guó)的算力現(xiàn)在指數(shù)是排第一，比我們大概多了 30% 的算力，那么也就代表 GDP 也比我們多 30%，什么時(shí)候我們的算力超過了美國(guó)，咱們的 GDP 就可以超過美國(guó)了。

正是因?yàn)樗懔@么重要，所以發(fā)展人工智能和經(jīng)濟(jì)沒有算力不可能，要有算力要有芯片，芯片做成機(jī)器，用這個(gè)機(jī)器訓(xùn)練這個(gè)模型，為了做這件事，我們?cè)?2020 年深圳就做了一臺(tái)機(jī)器，這臺(tái) 機(jī)器叫鵬城云腦 II，這臺(tái)機(jī)器的算力在 2020 年的時(shí)候是全世界做人工智能訓(xùn)練最強(qiáng)的一臺(tái)機(jī)器，比當(dāng)時(shí)微軟、谷歌的機(jī)器都要強(qiáng)，相當(dāng)于是 4000 塊卡的機(jī)器，而且這臺(tái)機(jī)器是 4000 塊 A100 卡的機(jī)器，這臺(tái)機(jī)器是用全光網(wǎng)絡(luò)把它連起來(lái)的，節(jié)點(diǎn)和節(jié)點(diǎn)之間的延遲非常低。

因?yàn)?，有了這臺(tái)機(jī)器可以做很多事，包括我們可以做科學(xué)研究，可以做產(chǎn)業(yè)應(yīng)用還有關(guān)鍵技術(shù)的研發(fā)。

這臺(tái)機(jī)器剛剛我說(shuō)有 4000 塊卡，一個(gè)是鯤鵬 CPU，一個(gè)是昇騰 NPU，都是華為的。

有了這臺(tái)機(jī)器以后，那么這臺(tái)機(jī)器的性能行不行呢？就參加世界 TOP500 的超算的打榜，整個(gè)超算整個(gè)算力的打榜，同時(shí)它也有其他的賽道，我們參加的一 個(gè)是 IO500 的賽道，你的輸出和輸入能力的賽道，我們從 2020 年 10 月份這臺(tái)機(jī)器做出來(lái)以后，11 月份就參加打榜，連續(xù) 6 次第一，每半年有一次打榜，全節(jié)點(diǎn)連續(xù)二次第一。

所以，這臺(tái)機(jī)器在做人工智能訓(xùn)練這件事，別人沒辦法和它比。這臺(tái)機(jī)器的 AI 算力，這個(gè)是三年一次的，也參加了打榜，連續(xù)三次第一。這臺(tái)機(jī)器不僅硬件強(qiáng)，接口能力和網(wǎng)絡(luò)非常強(qiáng)，同時(shí)上面的軟件也是配備得比較完備，包括怎么樣做分布式計(jì)算，怎么樣做命令調(diào)優(yōu)、自研的調(diào)度規(guī)劃等等。這臺(tái)機(jī)器這么大規(guī)模的機(jī)器以前還是第一次，相當(dāng)于它的四臺(tái)機(jī)器，其實(shí)是四臺(tái)我們的機(jī)器組成這一臺(tái)了，上面有很多軟件的挑戰(zhàn)。

可能有的專家也許聽到過，有人說(shuō)全世界能在 1000 塊卡上同時(shí)選連一個(gè)模型的只有幾千人，能在 4000 塊卡上訓(xùn)練的不超過 100 個(gè)人，在 10000 塊卡上訓(xùn)練模型的人數(shù)更少了，大規(guī)模的卡上一起做事，對(duì)于軟件規(guī)劃、資源調(diào)度挑戰(zhàn)非常大。

我們不僅僅是把鵬城云腦 II 用好，我們也承擔(dān)了國(guó)家發(fā)改委的任務(wù)，用鵬城云腦 II 類似的華為生態(tài)的，用在昇騰 AI 集群，不管是 100P 和 900P 的算力結(jié)點(diǎn)，我們用網(wǎng)絡(luò)把資源連起來(lái)，可以給大家提供，告訴你這里有資源可以通過網(wǎng)絡(luò)去用。

同時(shí)，我們還把華為生態(tài)以外的，按照發(fā)改委的要求，希望這是異構(gòu)的算力網(wǎng)的平臺(tái)，我們也選擇了部分其他廠商的算力，在 2022 年 6 月這個(gè)項(xiàng)目驗(yàn)收的時(shí)候，已經(jīng)聚合的智能算力到了 2300P，云腦 II 只是 1000P，這個(gè)系統(tǒng)已經(jīng)聚集了 2300P 的智能算力。

我們有了云腦 II 可以訓(xùn)練大模型了，訓(xùn)練大模型還是很費(fèi)算力的，但是即使你可以訓(xùn)練大模型，現(xiàn)在的需求根本不夠用，我們正在規(guī)劃做云腦 III。

下面我說(shuō)說(shuō)大模型，鵬城正在做一個(gè)大模型，這個(gè)是 2000 億參數(shù)，也就是 200B 的參數(shù)，為什么做這件事呢？

不用再花時(shí)間了，因?yàn)橛?Chat GPT 和類 Chat GPT 大模型在不停地涌現(xiàn)，同時(shí)因?yàn)楝F(xiàn)在很多公司都用這個(gè)東西做產(chǎn)業(yè)應(yīng)用，去做服務(wù)。所以，現(xiàn)在這個(gè)模型變得很重要了，但是現(xiàn)在有錢的公司可以砸?guī)讉€(gè)億做這樣的機(jī)器，甚至十幾個(gè)億和幾十個(gè)億，但是大多數(shù)的公司做不了。

這個(gè)領(lǐng)域需求這么大，怎么辦呢？

我們鵬城實(shí)驗(yàn)室可以做一個(gè)底座，模型訓(xùn)練完開放出去，大家在這個(gè)底座說(shuō)做垂直應(yīng)用。按照這樣的思路，我們首先有鵬城云腦 II 的算力，前一階段我們積累了很多的數(shù)據(jù)，這一段時(shí)間前幾個(gè)月我們通過各個(gè)渠道，包括購(gòu)買拿到數(shù)據(jù)，先下面做清晰，清晰的數(shù)據(jù)很重，可能我拿到了 100 個(gè)數(shù)據(jù)，清晰完就剩幾個(gè)了，因?yàn)橛泻芏嗍侵貜?fù)和不規(guī)范的，這些東西拿掉就變得很小。雖然拿了很多的數(shù)據(jù)，但是真正用來(lái)做訓(xùn)練的數(shù)據(jù)只有 1%-5%。有了這個(gè)數(shù)據(jù)我們就可以做大模型底座。

這個(gè)大模型底座，我們就是用的生成式預(yù)訓(xùn)練模型，就是和 GPT 完全類似的底層的東西，用這個(gè)東西訓(xùn)練一個(gè)好的模型，希望可以開放出去。

現(xiàn)在這個(gè)模型我們想著 2000 億參數(shù)，200B 的參數(shù)，這個(gè)訓(xùn)出來(lái)以后，我們希望把它給到合作伙伴那里，而且提供相應(yīng)的指令微調(diào)和相應(yīng)的人工增強(qiáng)學(xué)習(xí)的工具，甚至做一兩個(gè)垂直領(lǐng)域，做樣板作為垂直應(yīng)用，怎么樣用告訴大家，因?yàn)槿A為在這方面很有經(jīng)驗(yàn)，我們建議誰(shuí)想做垂直應(yīng)用，可以到華為得到一些咨詢用這個(gè)模型做他們的應(yīng)用。

有了這個(gè)東西，我們希望能夠快速把這個(gè)模型做完可以推向社會(huì)，讓社會(huì)在這個(gè)模型上開發(fā)中國(guó)自己的人工智能大模型應(yīng)用系統(tǒng)?，F(xiàn)在我們正在緊鑼密鼓往前推，應(yīng)該是 8 月底第一次所有的訓(xùn)練就訓(xùn)練完了，9 月份就會(huì)把模型開放出去。

現(xiàn)在訓(xùn)練的數(shù)據(jù)有多大呢？我們說(shuō)的是喂數(shù)據(jù)，每天喂 10 個(gè) B，但是最重要喂一個(gè) T 的數(shù)據(jù)，一個(gè) T 是由幾百個(gè) T 清晰來(lái)的，現(xiàn)在數(shù)據(jù)都是中文和代碼數(shù)據(jù)，現(xiàn)在 4000 多塊卡的機(jī)器每天可以吃掉 10 個(gè) B，100 天就能吃掉 1000 個(gè) B，就是一個(gè) T，我訓(xùn)練 2000 億參數(shù)的模型，需要 4000 塊卡訓(xùn)練 100 天。

這就是算力，你如果不夠大的話，做一個(gè)模型還是很辛苦的，而且我現(xiàn)在才訓(xùn)練了一個(gè) T 的數(shù)據(jù)，訓(xùn)練兩到三個(gè) T 的話，還要加兩到三個(gè) 100 天，沒有大算力做大模型就是天方夜譚，當(dāng)然有很多人說(shuō)我可以用限速（音）等等這樣那樣的，但是實(shí)際上這就和電力是一樣的，可以省點(diǎn)電做出什么產(chǎn)品來(lái)，別人真正懂行的人聽了都不信的，一定要有算力作為基礎(chǔ)。

我們的算力到現(xiàn)在為止，怎么樣把數(shù)據(jù)做好訓(xùn)練得快，我們有一套體系，有一個(gè)開源社區(qū)叫啟智開源社區(qū)，這里面有很多的工程師做飛輪數(shù)據(jù)工程，可以使你清晰數(shù)據(jù)做得非?？欤泻芏嘧詣?dòng)和半自動(dòng)的清晰數(shù)據(jù)，都可以幫助你。

模型訓(xùn)練，4000 塊卡吃掉 10 個(gè) B 的數(shù)據(jù)，整個(gè)的損失每天都在降一點(diǎn)，我 們看著特別高興，每天有數(shù)據(jù)匯報(bào)，一天降了 0.2，我們現(xiàn)在大概在 2 的上下浮動(dòng)，我們希望最終可以降到 1.8 左右。

這是訓(xùn)練的過程，同時(shí)我們要考慮應(yīng)用的 時(shí)候有隱私數(shù)據(jù)有一些數(shù)據(jù)應(yīng)用者，希望到你這個(gè)模型應(yīng)用一下，但是不希望自己的數(shù)據(jù)被丟掉或者是看到，我們提供了隱私數(shù)據(jù)保護(hù)的模塊，我們叫防損包，有了這樣一套體系就可以支持應(yīng)用了。

我們希望鵬城腦海出來(lái)了可以快速向社會(huì)賦能，可以讓大家做數(shù)字政府、“一帶一路”、智能制造、智慧金融、智慧醫(yī)療等等各種各樣可能的應(yīng)用，這里有黃顏色和白顏色，黃顏色是現(xiàn)在已經(jīng)投進(jìn)人去做了，你做指令微調(diào)和正向?qū)W習(xí)都需要。后面是放給合作伙伴去做的，而且我們還有一些完整的整個(gè)教育計(jì)劃、人才計(jì)劃，人才計(jì)劃就希望這個(gè)模型訓(xùn)練放出來(lái)，大量培養(yǎng)人才，通過高校和合作伙伴培養(yǎng)，能讓中國(guó)的大模型應(yīng)用快速啟動(dòng)。

小結(jié)一下，鵬城實(shí)驗(yàn)室在鵬城云腦 II 硬件平臺(tái)和鵬城腦海大模型這兩件事都在和華為合作正在往前推進(jìn)，希望可以對(duì)中國(guó)人工智能大模型用貢獻(xiàn)一點(diǎn)力量，作為一個(gè)基石，希望大家多關(guān)心、多參與。

謝謝大家。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。