DeepSeek開源新動(dòng)態(tài)：優(yōu)化GPU通信庫(kù)DeepEP，揭開高效通信新篇章

標(biāo)題：優(yōu)化GPU通信庫(kù)：揭開高效通信新篇章——DeepEP開源動(dòng)態(tài)

隨著科技的進(jìn)步，人工智能的模型訓(xùn)練和推理已成為主流。在這個(gè)領(lǐng)域，DeepSeek的開源新動(dòng)態(tài)——DeepEP，以其創(chuàng)新的EP通信庫(kù)，為MoE模型的訓(xùn)練和推理帶來了新的可能。DeepEP專注于提供高效且低延遲的GPU通信解決方案，進(jìn)一步推動(dòng)了人工智能領(lǐng)域的發(fā)展。

首先，DeepEP是一個(gè)專為MoE（混合專家）模型訓(xùn)練和推理設(shè)計(jì)的EP（專家并行化）通信庫(kù)。它為所有GPU內(nèi)核提供高吞吐量和低延遲，同時(shí)也支持低精度操作，如FP8。DeepEP針對(duì)NVLink（一種高速互聯(lián)技術(shù)，主要用于GPU之間的通信，提升帶寬和降低延遲）到RDMA（遠(yuǎn)程直接內(nèi)存訪問，一種網(wǎng)絡(luò)數(shù)據(jù)傳輸技術(shù)，用于跨節(jié)點(diǎn)高效通信）的非對(duì)稱帶寬轉(zhuǎn)發(fā)場(chǎng)景進(jìn)行了深度優(yōu)化。

值得注意的是，DeepEP不僅提供了高吞吐量，還支持SM（流式多處理器）數(shù)量控制，這使得它在訓(xùn)練和推理任務(wù)中都能保持高吞吐量表現(xiàn)。對(duì)于對(duì)延遲敏感的推理解碼，DeepEP包含一組低延遲內(nèi)核和純RDMA，以最大限度地減少延遲。此外，DeepEP還引入了一種基于鉤子的通信計(jì)算重疊方法，這種方法不占用任何SM資源，進(jìn)一步提升了效率。

DeepSeek表示，DeepEP的實(shí)現(xiàn)可能與DeepSeek-V3論文中的描述略有不同，但這種差異并不影響其核心優(yōu)勢(shì)的發(fā)揮。DeepSeek-V3論文是深度學(xué)習(xí)領(lǐng)域的經(jīng)典之作，而DeepEP則是這一經(jīng)典理論在實(shí)際應(yīng)用中的創(chuàng)新實(shí)踐。

為了驗(yàn)證DeepEP的實(shí)際性能，DeepSeek在H800（NVLink的最大帶寬約為160 GB/s）上進(jìn)行了一系列測(cè)試。測(cè)試結(jié)果顯示，使用常規(guī)內(nèi)核，每臺(tái)設(shè)備都連接一塊CX7 InfiniBand 400 Gb/s的RDMA網(wǎng)卡（最大帶寬約為50 GB/s），并遵循DeepSeek-V3/R1預(yù)訓(xùn)練設(shè)置（每批次4096個(gè)Tokens，7168個(gè)隱藏層單元，前4個(gè)組，前8個(gè)專家），使用FP8格式進(jìn)行調(diào)度，使用BF16格式進(jìn)行合并。而在H800上測(cè)試低延遲內(nèi)核時(shí)，每臺(tái)H800都連接同樣的網(wǎng)卡，遵循典型的生產(chǎn)環(huán)境設(shè)置（每批次128個(gè)Tokens，7168個(gè)隱藏層單元），前8個(gè)專家采用FP8格式進(jìn)行調(diào)度，采用BF16格式進(jìn)行合并。

這些測(cè)試結(jié)果充分證明了DeepEP的高效性。在追求更高效、更精確的人工智能模型訓(xùn)練和推理的過程中，DeepEP的出現(xiàn)無疑為我們揭開了高效通信新篇章。

總的來說，DeepSeek開源的DeepEP優(yōu)化了GPU通信庫(kù)，為人工智能領(lǐng)域帶來了新的可能。DeepEP以其創(chuàng)新的EP通信庫(kù)、高效的性能和低延遲的設(shè)計(jì)，展示了其在推動(dòng)人工智能領(lǐng)域發(fā)展中的重要作用。未來，我們期待DeepEP能在更多的應(yīng)用場(chǎng)景中發(fā)揮其優(yōu)勢(shì)，為人工智能的發(fā)展注入新的活力。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。