為什么人工智能如此需要資源？

為什么人工智能如此需要資源？

截至2023年底，任何關(guān)于生成式人工智能需要多少能源的預(yù)測(cè)都是不準(zhǔn)確的。

頭條新聞傾向于猜測(cè)“人工智能需要5倍、10倍、30倍的電力”和“足夠運(yùn)行10萬(wàn)個(gè)家庭的電力”等。與此同時(shí)，數(shù)據(jù)中心新聞等專業(yè)出版物的報(bào)道稱，功率密度將上升到每機(jī)架50千瓦或100千瓦。

為什么生成式人工智能如此需要資源？正在采取哪些措施來(lái)計(jì)算其潛在的能源成本和碳足跡？或者正如一篇研究論文所寫道，“訓(xùn)練這些龐然大物的巨大計(jì)算成本”是多少？如今，大部分信息都不容易獲得。

分析師已經(jīng)對(duì)特定工作負(fù)載場(chǎng)景進(jìn)行了自己的估計(jì)，但由于模型構(gòu)建最前沿的云超大規(guī)模提供商很少披露數(shù)據(jù)，因此目前幾乎沒有可靠的數(shù)據(jù)。

經(jīng)過(guò)分析，人工智能模型構(gòu)建從訓(xùn)練到推理的碳成本產(chǎn)生了一些發(fā)人深省的數(shù)字。根據(jù)《哈佛商業(yè)評(píng)論》的一份報(bào)告，研究人員認(rèn)為，訓(xùn)練“單一大型語(yǔ)言深度學(xué)習(xí)模型”，例如OpenAI的GPT-4或Google的PaLM預(yù)計(jì)消耗約300噸二氧化碳……其他研究人員計(jì)算出，使用“神經(jīng)架構(gòu)搜索”技術(shù)訓(xùn)練一個(gè)中型生成式AI模型所消耗的電力和能源相當(dāng)于62.6萬(wàn)噸二氧化碳排放量。

那么，到底是什么讓人工智能如此耗電呢？

是數(shù)據(jù)集，即數(shù)據(jù)量嗎？使用了多少個(gè)參數(shù)？變壓器型號(hào)？編碼、解碼和微調(diào)？處理時(shí)間？答案是，以上所有內(nèi)容的組合。

數(shù)據(jù)

人們常說(shuō)GenAI大型語(yǔ)言模型(LLM)和自然語(yǔ)言處理(NLP)需要大量的訓(xùn)練數(shù)據(jù)。然而，從傳統(tǒng)數(shù)據(jù)存儲(chǔ)的角度來(lái)看，實(shí)際情況并非如此。

例如，ChatGPT使用www.commoncrawl.com數(shù)據(jù)。Commoncrawl表示，它是每個(gè)LLM的主要訓(xùn)練語(yǔ)料庫(kù)，并且提供了用于訓(xùn)練GPT-3的82%的原始代幣：“我們讓研究人員可以大規(guī)模提取、轉(zhuǎn)換和分析開放網(wǎng)絡(luò)數(shù)據(jù)……超過(guò)2500億美元跨越16年的頁(yè)面。每個(gè)月都會(huì)添加3-50億個(gè)新頁(yè)面?！?/p>

據(jù)認(rèn)為，ChatGPT-3是在45 TB的Commoncrawl明文上進(jìn)行訓(xùn)練的，過(guò)濾后為570 GB的文本數(shù)據(jù)。作為對(duì)開源AI數(shù)據(jù)的貢獻(xiàn)，它免費(fèi)托管在AWS上。

但存儲(chǔ)量、從網(wǎng)絡(luò)、維基百科和其他地方抓取的數(shù)十億網(wǎng)頁(yè)或數(shù)據(jù)標(biāo)記，然后進(jìn)行編碼、解碼和微調(diào)，以訓(xùn)練ChatGPT和其他模型，應(yīng)該不會(huì)對(duì)數(shù)據(jù)中心產(chǎn)生重大影響。同樣，訓(xùn)練文本到語(yǔ)音、文本到圖像，或文本到視頻模型，所需的TB或PB數(shù)據(jù)不會(huì)對(duì)數(shù)據(jù)中心的電源和冷卻系統(tǒng)造成太大壓力，這些數(shù)據(jù)中心是為托管存儲(chǔ)和處理數(shù)百或數(shù)千PB數(shù)據(jù)的IT設(shè)備而構(gòu)建的。

文本到圖像模型的一個(gè)例子是LAION（大規(guī)模人工智能開放網(wǎng)絡(luò)）——一個(gè)擁有數(shù)十億圖像的德國(guó)人工智能模型。其模型之一名為L(zhǎng)AION 400m，是一個(gè)10 TB的網(wǎng)絡(luò)數(shù)據(jù)集。另外，LAION5B擁有58.5億個(gè)剪輯過(guò)濾的文本圖像對(duì)。

訓(xùn)練數(shù)據(jù)量保持在可控范圍內(nèi)的原因之一是，大多數(shù)AI模型構(gòu)建者普遍使用預(yù)訓(xùn)練模型(PTM)，而不是從頭開始訓(xùn)練的搜索模型。我們所熟悉的兩個(gè)PTM示例是，是來(lái)自變壓器(BERT)的雙向編碼器表示和生成預(yù)訓(xùn)練變壓器(GPT)系列，如ChatGPT。

參數(shù)

數(shù)據(jù)中心運(yùn)營(yíng)商感興趣的人工智能訓(xùn)練的另一個(gè)衡量標(biāo)準(zhǔn)是，參數(shù)。

生成式AI模型在訓(xùn)練期間使用AI參數(shù)。參數(shù)的數(shù)量越多，對(duì)預(yù)期結(jié)果的預(yù)測(cè)就越準(zhǔn)確。ChatGPT-3是基于1750億個(gè)參數(shù)構(gòu)建的。但對(duì)于AI來(lái)說(shuō)，參數(shù)的數(shù)量已經(jīng)在快速上升。中國(guó)LLM第一個(gè)版本W(wǎng)U Dao使用了1.75萬(wàn)億個(gè)參數(shù)，還提供文本到圖像和文本到視頻的服務(wù)。因此，預(yù)計(jì)這一數(shù)字將繼續(xù)增長(zhǎng)。

由于沒有可用的硬數(shù)據(jù)，可以合理地推測(cè)，運(yùn)行一個(gè)有1.7萬(wàn)億參數(shù)的模型所需的計(jì)算能力將是巨大的。隨著我們進(jìn)入更多的人工智能視頻生成領(lǐng)域，模型中使用的數(shù)據(jù)量和參數(shù)數(shù)量將會(huì)激增。

變壓器

變壓器是一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，旨在解決序列轉(zhuǎn)導(dǎo)或神經(jīng)機(jī)器翻譯問(wèn)題。這意味著將輸入序列轉(zhuǎn)換為輸出序列的任何任務(wù)。變壓器層依賴于循環(huán)，因此當(dāng)輸入數(shù)據(jù)移動(dòng)到一個(gè)變壓器層時(shí)，數(shù)據(jù)會(huì)循環(huán)回其上一層，并輸出到下一層。這些層提高了對(duì)下一步的預(yù)測(cè)輸出。其有助于提高語(yǔ)音識(shí)別、文本到語(yǔ)音轉(zhuǎn)換等。

多少電量才足夠？

S&P Global發(fā)布的一份題為《人工智能的力量:來(lái)自人工智能的電力需求的瘋狂預(yù)測(cè)》的報(bào)告引用了多個(gè)來(lái)源。Indigo Advisory Group的董事總經(jīng)理David Groarke在最近的電話采訪中表示：“就美國(guó)的電力需求而言，確實(shí)很難量化像ChatGPT這樣的東西需要多少需求。從宏觀數(shù)據(jù)來(lái)看，到2030年，人工智能將占全球電力需求的3%至4%。Google表示，目前人工智能占其用電量的10%到15%，即每年2.3 TWh?！?/p>

S&P Global繼續(xù)道：“由阿姆斯特丹自由大學(xué)商業(yè)與經(jīng)濟(jì)學(xué)院博士候選人Alex de Vries進(jìn)行的學(xué)術(shù)研究，引用了SemiAnalysis的研究。在10月10日發(fā)表在《Joule》雜志上的一篇評(píng)論中，估計(jì)每次Google搜索中的使用ChatGPT等生成式AI都需要超過(guò)50萬(wàn)臺(tái)Nvidia A100 HGX服務(wù)器，總計(jì)410萬(wàn)個(gè)圖形處理單元或GPU。如果每臺(tái)服務(wù)器的電力需求為6.5 kW，則日耗電量為80 GWh，年耗電量為29.2 TWh?！?/p>

瑞典研究所RI.SE提供了用于訓(xùn)練AI模型的實(shí)際功率的計(jì)算結(jié)果。其表示：“訓(xùn)練像GPT-4這樣的超大型語(yǔ)言模型，具有1.7萬(wàn)億個(gè)參數(shù)，并使用13萬(wàn)億個(gè)標(biāo)記（單詞片段），是一項(xiàng)艱巨的任務(wù)。OpenAI透露，該項(xiàng)目花費(fèi)了1億美元，耗時(shí)100天，使用了2.5萬(wàn)個(gè)NVIDIA A100 GPU。配備這些GPU的服務(wù)器每臺(tái)大約消耗6.5 kW，因此在訓(xùn)練期間估計(jì)消耗50 GWh的能源?！?/p>

這一點(diǎn)很重要，因?yàn)槿斯ぶ悄苁褂玫哪茉凑谘杆俪蔀楣娪懻摰脑掝}。

數(shù)據(jù)中心已經(jīng)出現(xiàn)在地圖上，關(guān)注生態(tài)的組織正在注意到這一點(diǎn)。據(jù)80billiontrees網(wǎng)站稱，目前還沒有公布對(duì)人工智能行業(yè)總足跡的估計(jì)，而且人工智能領(lǐng)域的發(fā)展如此迅速，以至于幾乎不可能獲得準(zhǔn)確的數(shù)字。查看單個(gè)人工智能模型的碳排放是目前的黃金標(biāo)準(zhǔn)……大部分能源都用于為超大規(guī)模數(shù)據(jù)中心供電和冷卻，所有的計(jì)算都在這里進(jìn)行?！?/p>

總結(jié)

當(dāng)我們等待機(jī)器學(xué)習(xí)和人工智能過(guò)去和現(xiàn)有的電力使用數(shù)據(jù)出現(xiàn)時(shí)，很明顯，一旦模型投入生產(chǎn)和使用，我們的計(jì)算規(guī)模將達(dá)到EB和EB級(jí)。對(duì)于數(shù)據(jù)中心的電力和冷卻而言，事情就變得有趣，也更具挑戰(zhàn)性。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。