【中國，深圳，2025年3月21日】在華為中國合作伙伴大會(huì)——鯤鵬伙伴產(chǎn)業(yè)峰會(huì)上，華為聯(lián)合 openEuler 社區(qū)發(fā)布全棧式 AI 推理方案。通過這套方案，企業(yè)和開發(fā)者可在鯤鵬+xPU硬件上，分鐘級(jí)實(shí)現(xiàn)模型部署、天級(jí)實(shí)現(xiàn) AI 助手開發(fā)，推理性能相較于其他開源方案提升10%-50%。該方案從開發(fā)、運(yùn)行、運(yùn)行全流程助力企業(yè)實(shí)現(xiàn)規(guī)模部署，實(shí)現(xiàn)數(shù)智化轉(zhuǎn)型，推動(dòng) AI 普惠千行百業(yè)。
sysHAX+GMEM：釋放鯤鵬+xPU算力潛能
如今，大模型已經(jīng)從模型訓(xùn)練階段轉(zhuǎn)向模型推理和智能體開發(fā)階段，操作系統(tǒng)作為連接軟件和硬件的基礎(chǔ)軟件，在使能模型推理和智能體開發(fā)上發(fā)揮著不可代替的作用。在硬件上，目前 openEuler 社區(qū)已經(jīng)適配了昇騰、寒武紀(jì)、摩爾線程、天數(shù)等xPU，并通過 sysHAX，GMEM 等技術(shù)實(shí)現(xiàn)推理任務(wù)吞吐量提升10%-50%：
- sysHAX：通過 NUMA 親和性優(yōu)化模型參數(shù)、KVCache調(diào)度、適配鯤鵬SVE指令集等方式，動(dòng)態(tài)調(diào)度鯤鵬CPU與異構(gòu)算力資源，智能分配 decode 任務(wù)，使推理任務(wù)吞吐量提升10%-30%。
- GMEM：通過加速器透明超分技術(shù)，將主機(jī)內(nèi)存擴(kuò)展至TB級(jí)，大模型推理吞吐量提升50%，提供OS原生malloc接口，僅需百行代碼即可接將設(shè)備接入 GMEM，開發(fā)效率提升10倍。
oeDeploy：一鍵分鐘級(jí)部署模型推理環(huán)境
oeDeploy 一鍵式軟件編排部署工具是 openEuler 社區(qū)的開源項(xiàng)目，該項(xiàng)目通過編寫配置文件即可實(shí)現(xiàn)AI框架、驅(qū)動(dòng)、第三方組件部署，極大的簡化軟件部署流程。oeDeploy 已經(jīng)支持一鍵式部署 DeepSeek，將原本需3-5天的部署流程縮短至分鐘級(jí)，極大的提高 DeepSeek 的部署效率。
歡迎開發(fā)者貢獻(xiàn)自己編寫的 oeDeploy 配置文件
EulerCopilot+RAG：天級(jí)開發(fā)一個(gè)智能體
RAG 即檢索增強(qiáng)生成技術(shù)。RAG+大模型可以很好的彌補(bǔ)基礎(chǔ)模型缺失行業(yè)數(shù)據(jù)、企業(yè)數(shù)據(jù)的不足，使大模型更懂企業(yè)業(yè)務(wù)，是一種非常高效的開發(fā)行業(yè)智能體應(yīng)用的方法。openEuler Copilot System 平臺(tái)已經(jīng)支持 RAG，并對(duì) RAG的智能語料治理、多級(jí)檢索優(yōu)化等環(huán)節(jié)進(jìn)行優(yōu)化，回答準(zhǔn)確率高達(dá) 90%。企業(yè)和開發(fā)者可在本地部署 openEuler Copilot System，并輸入行業(yè)數(shù)據(jù)，天級(jí)實(shí)現(xiàn)企業(yè)智能體應(yīng)用的開發(fā)。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
