首發(fā)即支持!昇思MindSpore 0day 支持智譜開源GLM-4-0414全部6個(gè)模型

4月15日,昇思MindSpore開源社區(qū)、魔樂社區(qū)第一時(shí)間上架智譜新開源的GLM-4-041432B/9B模型,并完成性能測(cè)試。智譜GLM-4-0414擁有32B/9B兩個(gè)尺寸,涵蓋基座、推理、沉思模型,均遵循 MIT 許可協(xié)議。其中,推理模型 GLM-Z1-32B-0414 性能媲美 DeepSeek-R1 等頂尖模型,實(shí)測(cè)推理速度可達(dá) 200 Tokens/秒。

模型介紹:

首發(fā)即支持!昇思MindSpore  0day 支持智譜開源GLM-4-0414全部6個(gè)模型

基座模型 GLM-4-32B-0414擁有 320 億參數(shù),其性能可與國(guó)內(nèi)、外參數(shù)量更大的主流模型相媲美。該模型利用 15T 高質(zhì)量數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練,特別納入了豐富的推理類合成數(shù)據(jù),為后續(xù)的強(qiáng)化學(xué)習(xí)擴(kuò)展奠定了基礎(chǔ)。在后訓(xùn)練階段,除了進(jìn)行面向?qū)υ拡?chǎng)景的人類偏好對(duì)齊,還通過拒絕采樣和強(qiáng)化學(xué)習(xí)等技術(shù),重點(diǎn)增強(qiáng)了模型在指令遵循、工程代碼生成、函數(shù)調(diào)用等任務(wù)上的表現(xiàn),以強(qiáng)化智能體任務(wù)所需的原子能力。

GLM-4-32B-0414 在工程代碼、Artifacts 生成、函數(shù)調(diào)用、搜索問答及報(bào)告撰寫等任務(wù)上均表現(xiàn)出色,部分 Benchmark 指標(biāo)已接近甚至超越GPT-4o、DeepSeek-V3-0324(671B)等更大模型的水平。

首發(fā)即支持!昇思MindSpore  0day 支持智譜開源GLM-4-0414全部6個(gè)模型

GLM-Z1-32B-0414是一款具備深度思考能力的推理模型。該模型在 GLM-4-32B-0414 的基礎(chǔ)上,采用了冷啟動(dòng)與擴(kuò)展強(qiáng)化學(xué)習(xí)策略,并針對(duì)數(shù)學(xué)、代碼、邏輯等關(guān)鍵任務(wù)進(jìn)行了深度優(yōu)化訓(xùn)練。與基礎(chǔ)模型相比,GLM-Z1-32B-0414 的數(shù)理能力和復(fù)雜問題解決能力得到顯著增強(qiáng)。此外,訓(xùn)練中整合了基于對(duì)戰(zhàn)排序反饋的通用強(qiáng)化學(xué)習(xí)技術(shù),有效提升了模型的通用能力。

在部分任務(wù)上,GLM-Z1-32B-0414 憑借 32B 參數(shù),其性能已能與擁有 671B 參數(shù)的 DeepSeek-R1 相媲美。通過在 AIME 24/25、LiveCodeBench、GPQA 等基準(zhǔn)測(cè)試中的評(píng)估,GLM-Z1-32B-0414 展現(xiàn)了較強(qiáng)的數(shù)理推理能力,能夠支持解決更廣泛復(fù)雜任務(wù)。

首發(fā)即支持!昇思MindSpore  0day 支持智譜開源GLM-4-0414全部6個(gè)模型

GLM-Z1-9B-0414是沿用了上述一系列技術(shù),訓(xùn)練出的一個(gè) 9B 的小尺寸模型。雖然參數(shù)量更少,但GLM-Z1-9B-0414 在數(shù)學(xué)推理及通用任務(wù)上依然表現(xiàn)出色,整體性能已躋身同尺寸開源模型的領(lǐng)先水平。特別是在資源受限的場(chǎng)景下,該模型可以很好地在效率與效果之間取得平衡,為需要輕量化部署的用戶提供強(qiáng)有力的選擇。

首發(fā)即支持!昇思MindSpore  0day 支持智譜開源GLM-4-0414全部6個(gè)模型

沉思模型GLM-Z1-Rumination-32B-0414代表了智譜對(duì)AGI未來形態(tài)的下一步探索。與一般推理模型不同,沉思模型通過更多步驟的深度思考來解決高度開放與復(fù)雜的問題。其關(guān)鍵創(chuàng)新在于,它能在深度思考過程中整合搜索工具處理復(fù)雜任務(wù),并運(yùn)用多種規(guī)則型獎(jiǎng)勵(lì)機(jī)制來指導(dǎo)和擴(kuò)展端到端的強(qiáng)化學(xué)習(xí)訓(xùn)練。該模型支持“自主提出問題—搜索信息—構(gòu)建分析—完成任務(wù)”的完整研究閉環(huán),從而在研究型寫作復(fù)雜檢索任務(wù)上的能力得到了顯著提升。

歡迎廣大開發(fā)者下載體驗(yàn)!

魔樂社區(qū)下載鏈接:

http://www.picoinsstore.com/uploadfile/pic2020/2025/0415/20250415174001305G>

以下為手把手教程:

(以GLM-Z1-9B-0414+昇思MindSpore基于昇騰推理為例)

# 01

快速開始

GLM-Z1-9B-0414推理至少需要1臺(tái)(1卡)Atlas 800T A2(64G)服務(wù)器(基于BF16權(quán)重)。昇思MindSpore提供了GLM-Z1-9B-0414推理可用的Docker容器鏡像,供開發(fā)者快速體驗(yàn)。

1、下載昇思MindSpore 推理容器鏡像

執(zhí)行以下 Shell 命令,拉取昇思 MindSpore GLM-Z1 推理容器鏡像:

docker pull swr.cn-central-221.ovaijisuan.com/mindformers/mindspore_glm_z1:20250414

1、啟動(dòng)容器

docker run -it --privileged --name=GLM-Z1 --net=host \

--shm-size 500g \

--device=/dev/davinci0 \

--device=/dev/davinci1 \

--device=/dev/davinci2 \

--device=/dev/davinci3 \

--device=/dev/davinci4 \

--device=/dev/davinci5 \

--device=/dev/davinci6 \

--device=/dev/davinci7 \

--device=/dev/davinci_manager \

--device=/dev/hisi_hdc \

--device /dev/devmm_svm \

-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \

-v /usr/local/Ascend/firmware:/usr/local/Ascend/firmware \

-v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \

-v /usr/local/sbin:/usr/local/sbin \

-v /etc/hccn.conf:/etc/hccn.conf \

swr.cn-central-221.ovaijisuan.com/mindformers/mindspore_glm_z1:20250414

/bin/bash

注意事項(xiàng):

● 如果部署在多機(jī)上,每臺(tái)機(jī)器中容器的hostname不能重復(fù)。如果有部分宿主機(jī)的hostname是一致的,需要在起容器的時(shí)候修改容器的hostname。

●后續(xù)所有操作均在容器內(nèi)操作。

2、模型下載

執(zhí)行以下命令為自定義下載路徑/home/work/GLM-Z1-9B-0414添加白名單:

export HUB_WHITE_LIST_PATHS=/home/work/GLM-Z1-9B-0414

執(zhí)行以下 Python 腳本從魔樂社區(qū)下載昇思 MindSpore 版本的 GLM-Z1-9B-0414 文件至指定路徑/home/work/GLM-Z1-9B-0414。下載的文件包含模型代碼、權(quán)重、分詞模型和示例代碼,占用約18GB 的磁盤空間:

from openmind_hub import snapshot_download

snapshot_download(

repo_,

local_dir="/home/work/GLM-Z1-9B-0414",

local_dir_use_symlink=False

)

下載完成的/home/work/GLM-Z1-9B-0414文件夾目錄結(jié)構(gòu)如下:

GLM-Z1-9B-0414

├── config.json # 模型json配置文件

├── tokenizer.model # 詞表model文件

├── tokenizer_config.json # 詞表配置文件

├── predict_glm4_z1_9b.yaml # 模型yaml配置文件

└── weights

├── model-xxxxx-of-xxxxx.safetensors # 模型權(quán)重文件

├── tokenizer.json # 模型詞表文件

├── xxxxx # 若干其他文件

└── model.safetensors.index.json # 模型權(quán)重映射文件

注意事項(xiàng):

●/home/work/GLM-Z1-9B-0414 可修改為自定義路徑,確保該路徑有足夠的磁盤空間(約 18GB)。

●下載時(shí)間可能因網(wǎng)絡(luò)環(huán)境而異,建議在穩(wěn)定的網(wǎng)絡(luò)環(huán)境下操作。

# 02

服務(wù)化部署

1、修改模型配置文件

在predict_glm_z1_9b.yaml中對(duì)以下配置進(jìn)行修改(若為默認(rèn)路徑則無需修改):

load_checkpoint: '/home/work/GLM-Z1-9B-0414/weights' # 配置為實(shí)際的模型絕對(duì)路徑

auto_trans_ckpt: True # 打開權(quán)重自動(dòng)切分,自動(dòng)將權(quán)重轉(zhuǎn)換為分布式任務(wù)所需的形式

load_ckpt_format: 'safetensors'

processor:

tokenizer:

vocab_file: "/home/work/GLM-Z1-9B-0414/tokenizer.model" # 配置為tokenizer文件的絕對(duì)路徑

2、一鍵啟動(dòng)MindIE

MindSpore Transformers提供了一鍵拉起MindIE腳本,腳本中已預(yù)置環(huán)境變量設(shè)置和服務(wù)化配置,僅需輸入模型文件目錄后即可快速拉起服務(wù)。進(jìn)入mindformers/scripts目錄下,執(zhí)行MindIE啟動(dòng)腳本

cd /home/work/mindformers/scripts

bash run_mindie.sh --model-name GLM-Z1-9B-0414 --model-path /home/work/GLM-Z1-9B-0414 --max-prefill-batch-size 1

參數(shù)說明:

●--model-name:設(shè)置模型名稱

●--model-path:設(shè)置模型目錄路徑

查看日志:

tail -f output.log

當(dāng)log日志中出現(xiàn) `Daemon start success!` ,表示服務(wù)啟動(dòng)成功。

3、執(zhí)行推理請(qǐng)求測(cè)試

執(zhí)行以下命令發(fā)送流式推理請(qǐng)求進(jìn)行測(cè)試:

curl -w "\ntime_total=%{time_total}\n" -H "Accept: application/json" -H "Content-type: application/json" -X POST -d '{"inputs": "請(qǐng)介紹一個(gè)北京的景點(diǎn)", "parameters": {"do_sample": false, "max_new_tokens": 128}, "stream": false}' http://www.picoinsstore.com/uploadfile/pic2020/2025/0415/20250415174012306G>

# 03

聲明

本文檔提供的模型代碼、權(quán)重文件和部署鏡像,當(dāng)前僅限于基于昇思MindSpore AI框架體驗(yàn)GLM-Z1-9B-0414 的部署效果,不支持生產(chǎn)環(huán)境部署。

相關(guān)使用問題請(qǐng)反饋至ISSUE(鏈接:http://www.picoinsstore.com/uploadfile/pic2020/2025/0415/20250415174012307G>

昇思MindSporeAI框架將持續(xù)支持相關(guān)主流模型演進(jìn),并根據(jù)開源情況面向全體開發(fā)者提供鏡像與支持。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )