4月19日消息,Meta發(fā)布了其最新的開(kāi)源大模型Llama 3 ,引發(fā)全網(wǎng)關(guān)注。Meta表示,Llama 3模型利用數(shù)據(jù)和規(guī)模將性能提升到新的高度。
此次,Meta發(fā)布了Llama 3 80億和700億參數(shù)兩款模型,分別有預(yù)訓(xùn)練和指令微調(diào)兩個(gè)版本。
Meta介紹,Llama 3在兩個(gè)定制24K GPU集群上接受了訓(xùn)練,使用的數(shù)據(jù)量超過(guò)15萬(wàn)億個(gè)token,這個(gè)訓(xùn)練數(shù)據(jù)集是Llama 2使用的數(shù)據(jù)量的7倍,其中包括了4倍數(shù)量的代碼。這使得Llama 3成為迄今為止最強(qiáng)大的Llama模型,支持8000個(gè)上下文長(zhǎng)度,是Llama 2容量的兩倍。
比肩GPT4的開(kāi)源模型
在Meta公布的AI基準(zhǔn)測(cè)試中,Llama 3 8B、70B模型在語(yǔ)言(MMLU)、知識(shí)(GPQA)、編程(HumanEval)、數(shù)學(xué)(GSM-8K、MATH)等能力上,幾乎全面領(lǐng)先于同等規(guī)模的其他模型。
Llama 3 8B模型在MMLU、GPQA、HumanEval等多項(xiàng)基準(zhǔn)上均勝過(guò)Gemma 7B和Mistral 7B Instruct。在Meta公布的AI基準(zhǔn)測(cè)試中,Llama 3 70B的表現(xiàn)甚至超越了谷歌的Gemini Pro1.5以及Anthropic的Claude 3 Sonnet。
Meta還披露了Llama 3 4000億參數(shù)版本模型的性能,在多語(yǔ)言推理任務(wù)、代碼能力,可與GPT-4、Claude 3相匹敵。
Llama 3的優(yōu)良表現(xiàn)被譽(yù)為“媲美GPT4的開(kāi)源模型”!它將改變?cè)S多研究工作和草根創(chuàng)業(yè)公司的計(jì)算方式。
本月剛剛加入亞馬遜董會(huì)的傳奇研究員,AI開(kāi)源倡導(dǎo)者吳恩達(dá)在X上發(fā)文表示:Llama 3的發(fā)布是自己收到過(guò)的最好的生日禮物!
Llama 3上手教程已搶先出爐
亞馬遜云科技也在Llama 3發(fā)布的第一時(shí)間火速官宣,稱其客戶已可以通過(guò)Amazon SageMaker JumpStart使用這兩款Llama 3模型,并發(fā)布了如何通過(guò)SageMaker JumpStart發(fā)現(xiàn)和部署Llama 3模型的官方教程博文。
Amazon SageMaker JumpStart是亞馬遜云科技專門(mén)構(gòu)建的一個(gè)機(jī)器學(xué)習(xí)中心,提供預(yù)訓(xùn)練的模型、內(nèi)置算法和預(yù)構(gòu)建的解決方案,幫助客戶快速開(kāi)始機(jī)器學(xué)習(xí)項(xiàng)目。
Amazon SageMaker JumpStart能夠幫助客戶從廣泛的公開(kāi)可用基礎(chǔ)模型中進(jìn)行選擇,并將基礎(chǔ)模型部署到專用的SageMaker實(shí)例中,這些實(shí)例置于網(wǎng)絡(luò)隔離的環(huán)境,并可以使用SageMaker進(jìn)行模型訓(xùn)練和部署。
現(xiàn)在亞馬遜云科技的用戶可以在Amazon SageMaker Studio中通過(guò)幾次點(diǎn)擊或通過(guò)SageMaker Python SDK編程方式發(fā)現(xiàn)并部署Llama 3模型,還可以利用SageMaker Pipelines、SageMaker Debugger或容器日志等功能,提升模型性能并實(shí)施MLOps控制。
教程博文節(jié)選:
通過(guò)SageMaker Studio UI和SageMaker Python SDK中的SageMaker JumpStart訪問(wèn)基礎(chǔ)模型。
從SageMaker JumpStart登錄頁(yè),用戶可以通過(guò)瀏覽以模型提供商命名的不同集線器來(lái)輕松發(fā)現(xiàn)各種模型,可以在Meta hub中找到Llama 3型號(hào)。
用戶可以通過(guò)在左上角的搜索框中搜索“Meta-Llama-3”來(lái)找到Llama 3型號(hào)。
點(diǎn)擊Meta hub,用戶可以在SageMaker JumpStart中發(fā)現(xiàn)所有可用的Meta模型。
目前,SageMaker JumpStart 中可用的所有 Llama 3 模型,以及每個(gè)模型支持的默認(rèn)實(shí)例類型和最大總token數(shù)如下:
單擊模型卡打開(kāi)相應(yīng)的模型詳細(xì)信息頁(yè)面,用戶就可以從中輕松部署模型。
接著,當(dāng)用戶選擇部署并確認(rèn)EULA條款時(shí),部署將開(kāi)始。您可以在單擊“部署”按鈕后顯示的頁(yè)面上監(jiān)視部署進(jìn)度。用戶也可以選擇“打開(kāi)筆記本”通過(guò)示例筆記本進(jìn)行部署。
隨著Meta Llama 3的加入,亞馬遜云科技目前提供的“大模型豪華套餐”已包括:通過(guò)Amazon Bedrock提供的來(lái)自AI21 Labs, Amazon, Anthropic, Cohere, Meta, Mistral AI和Stability AI的領(lǐng)先大模型,以及通過(guò)Amazon SageMaker JumpStart提供的包括Meta Llama 3在內(nèi)的各種模型。
- 首批車網(wǎng)互動(dòng)規(guī)?;瘧?yīng)用試點(diǎn)公布:9個(gè)城市、30個(gè)項(xiàng)目
- 賈躍亭:FF月運(yùn)營(yíng)費(fèi)僅500萬(wàn)美元 相當(dāng)于某些頭部車企一天的虧損
- 網(wǎng)友曝小米汽車車主行駛中酣睡引爭(zhēng)議 小米客服回應(yīng)
- 特斯拉第一季度全球交付336681輛 同比下降13%
- 扛不住了,馬斯克要辭職!
- “騰訊會(huì)議崩了”上熱搜 官方回應(yīng):工程師正在加速搶修
- 打通社交和商業(yè)的鏈接 通通AI社交集團(tuán)2024年?duì)I收破2.6億元
- 文心一言、文小言APP會(huì)員退費(fèi)已開(kāi)啟
- “騰訊會(huì)議崩了”上熱搜 官方稱正在搶修 網(wǎng)友回復(fù)亮了!
- Gartner:2025年全球GenAI支出將達(dá)6440億美元,80%用于硬件
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。