2025年2月20日，經過vLLM社區(qū)與昇騰的持續(xù)合作和共同努力，vLLM開源社區(qū)已官方支持昇騰，并創(chuàng)建vLLM Ascend這一社區(qū)維護的官方項目。這意味著用戶可直接在昇騰上無縫運行vLLM，開發(fā)者可通過vLLM調用昇騰進行模型適配。
圖注：vLLM社區(qū)創(chuàng)建了vllm-project/vllm-ascend項目提供昇騰的官方支持
vLLM Ascend使能vLLM在昇騰平臺進行大模型推理，包含以下多個特征：
支持多種模型類型，滿足多樣化需求
vLLM Ascend原生支持稠密LLM、稀疏Mixture-of-Expert(MoE)、多模態(tài)等在內的主流開源大模型類型，如Qwen系列、Llama系列、DeepSeek系列等。這意味著開發(fā)者可以在昇騰平臺無縫運行各類大語言模型，并且可基于vLLM進行增量特性開發(fā)，滿足不同的應用場景和性能需求。
與社區(qū)共同打造大模型極致推理性能，充分釋放昇騰算力
vLLMAscend即將在昇騰平臺支持vLLM多個高階特性，如請求調度算法chunkedprefill，大模型分布式并行策略Tensor Parallelism (TP)、PipelineParallelism(PP)，投機解碼speculative decoding等，開源社區(qū)最新加速能力平滑遷移，支持昇騰平臺高性能推理。
全面的社區(qū)支持，讓開發(fā)更簡單
用戶可以通過以下途徑，快速學習和使用vLLM Ascend，包括：
● 快速開始：快速開始教程詳細地說明了如何開始使用vLLM Ascend。
●用戶指南：提供了模型支持、特性支持等關鍵內容。
●開發(fā)者指南：通過貢獻指南、版本發(fā)布策略等文檔為開發(fā)者提供了重要參考。
●社區(qū)討論：開發(fā)者可以在社區(qū)充分交流分享，一起解決問題。
開始您的嘗鮮之旅
無論是AI領域的資深開發(fā)者，還是剛入門的技術愛好者，vLLM Ascend都將為您提供一個高效、靈活的開發(fā)平臺。立即開始您的嘗鮮之旅，感受昇騰NPU與vLLM框架結合的魅力，共同探索大語言模型的無限可能!
現(xiàn)在就可以訪問以下鏈接開始您的嘗鮮之旅：
●代碼倉庫：http://www.picoinsstore.com/uploadfile/pic2020/2025/0221/20250221122026440G>
●文檔中心：http://www.picoinsstore.com/uploadfile/pic2020/2025/0221/20250221122027441G>
●快速開始：http://www.picoinsstore.com/uploadfile/pic2020/2025/0221/20250221122028442G>
●安裝指南：http://www.picoinsstore.com/uploadfile/pic2020/2025/0221/20250221122029443G>
●版本說明：http://www.picoinsstore.com/uploadfile/pic2020/2025/0221/20250221122030444G>
歡迎加入我們，攜手共建vLLMAscend開源項目
大模型推理服務框架vLLM是LF Data & AI基金會孵化項目，因其在大型語言模型 (LLM) 推理和服務中的高吞吐量、內存高效等特點，在開源社區(qū)廣受歡迎。華為是LF Data & AI基金會創(chuàng)始高級會員，同時也是vLLM社區(qū)的支持者和積極貢獻者，華為堅持“硬件開放，軟件開源，使能伙伴，發(fā)展人才”的理念，攜手社區(qū)共同推進多樣性算力支持改進，積極致力于vLLM優(yōu)化，從而充分釋放昇騰硬件的算力。
vLLM Ascend是一個使用Apache 2.0協(xié)議的開源項目，我們誠邀每一位開發(fā)者加入我們，貢獻你的智慧，一起探索和貢獻更多創(chuàng)新功能。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
