NVIDIA Grace Hopper超級芯片橫掃MLPerf推理基準測試

NVIDIA GH200 Grace Hopper超級芯片首次亮相 MLPerf 行業(yè)基準測試，其運行了所有數(shù)據(jù)中心推理測試，進一步擴大了NVIDIA H100 Tensor Core GPU的領先優(yōu)勢。

總體測試結(jié)果表明，NVIDIA AI 平臺無論是在云端還是網(wǎng)絡邊緣均展現(xiàn)出卓越的性能和通用性。

此外，NVIDIA宣布推出全新推理軟件，該軟件將為用戶帶來性能、能效和總體擁有成本的大幅提升。

GH200 超級芯片在 MLPerf 一騎絕塵

GH200將一顆Hopper GPU和一顆Grace CPU連接到一個超級芯片中。這種組合提供了更大內(nèi)存、更快帶寬，能夠在CPU和GPU之間自動切換計算所需要的資源，實現(xiàn)性能最優(yōu)化。

具體而言，內(nèi)置8顆H100 GPU 的 NVIDIA HGX H100系統(tǒng)，在本輪每項MLPerf推理測試中均實現(xiàn)了最高吞吐量。

Grace Hopper 超級芯片和H100 GPU在所有MLPerf數(shù)據(jù)中心測試中均處于領先地位，包括針對計算機視覺、語音識別和醫(yī)學成像的推理，以及應用于生成式AI的推薦系統(tǒng)和大語言模型（LLM） 等對性能要求更高的用例。

總體而言，此次測試結(jié)果延續(xù)了自2018年MLPerf基準測試推出以來，NVIDIA在每一輪AI訓練和推理中都處于領先性能的紀錄。

最新一輪MLPerf 測試包括一項更新的推薦系統(tǒng)測試，并新增首個GPT-J上的推理基準測試。GPT-J是一個由60億個參數(shù)組成的大語言模型（LLM），而AI模型的大小通常根據(jù)它有多少參數(shù)來衡量。

TensorRT-LLM 大幅提升推理能力

為了應對各類復雜的工作負載，NVIDIA開發(fā)了一款能夠優(yōu)化推理的生成式AI軟件——TensorRT-LLM。該開源庫使客戶能夠在不增加成本的情況下將現(xiàn)有H100 GPU的推理性能提升兩倍以上。由于時間原因，TensorRT-LLM沒有參加8月的MLPerf提交。

NVIDIA的內(nèi)部測試表明， 在運行 GPT-J 6B 模型時，相較于沒有使用TensorRT-LLM的上一代GPU，在H100 GPU上使用TensorRT-LLM能夠?qū)崿F(xiàn)高達8倍的性能提升。

該軟件始于NVIDIA在對Meta、AnyScale、Cohere、Deci、Grammarly、Mistral AI、MosaicML（現(xiàn)為Databricks的一部分）、OctoML、Tabnine和Together AI等領先公司進行加速和優(yōu)化LLM推理時所做的工作。

MosaicML在TensorRT-LLM 的基礎上添加了所需的功能，并將這些功能集成到他們現(xiàn)有的服務堆棧中。Databricks工程副總裁Naveen Rao表示：“這已成為相當輕而易舉的事情。”

Rao補充說：“TensorRT-LLM 簡單易用、功能豐富且高效。它為正在使用NVIDIA GPU的 LLM服務提供了最先進的性能，并使我們能夠?qū)⒐?jié)省的成本回饋給我們的客戶。”

TensorRT-LLM 是NVIDIA全棧AI平臺持續(xù)創(chuàng)新的最新實例。這類持續(xù)的軟件進步為用戶帶來了無需額外成本即可實現(xiàn)隨著時間不斷提升的性能，并且廣泛適用于多樣化的AI工作負載。

L4為主流服務器增強推理能力

在最新MLPerf基準測試中，NVIDIA L4 GPU 運行了所有工作負載，并全面展現(xiàn)了出色的性能。

例如，在緊湊型72W PCIe 加速器中運行時，L4 GPU的性能比功耗超出其近5倍的CPU提高了6倍。

此外，L4 GPU具有專用媒體引擎，與CUDA軟件搭配使用，在NVIDIA的測試中為計算機視覺提供了高達120倍的加速。

谷歌云和許多系統(tǒng)制造商現(xiàn)已支持L4 GPU，為從消費互聯(lián)網(wǎng)服務到藥物研發(fā)各行業(yè)的客戶提供服務。

大幅提升邊緣性能

此外，NVIDIA采用了一種全新模型壓縮技術(shù)來展示在一個L4 GPU上運行BERT LLM的性能提升高達4.7倍。該結(jié)果體現(xiàn)在MLPerf的“開放分區(qū)”中，這個類別旨在展示新能力。

這項技術(shù)有望應用于所有AI工作負載。它尤其適用于在空間和功耗受限的邊緣設備上運行模型。

在另一個體現(xiàn)邊緣計算領導力的例證中，NVIDIA Jetson Orin模塊化系統(tǒng)將邊緣AI和機器人應用場景中常見的計算機視覺用例——目標檢測的性能比上一輪測試提升高達84%。

Jetson Orin性能的提升得益于軟件可以充分利用該芯片的最新核心，如一個可編程視覺加速器、一顆NVIDIA Ampere架構(gòu)GPU和一個專用深度學習加速器等。

靈活的性能與龐大的生態(tài)

MLPerf基準測試是透明且客觀的，因此用戶可以根據(jù)其結(jié)果做出明智的購買決定。該測試還涵蓋了豐富的用例和場景，能夠讓用戶獲得可靠且可以靈活部署的性能。

本輪提交測試結(jié)果的合作伙伴包括微軟 Azure和Oracle Cloud Infrastructure 等云服務提供商以及華碩、Connect Tech、戴爾科技、富士通、技嘉、惠與、聯(lián)想、QCT、超微等系統(tǒng)制造商。

總體而言，MLPerf 已得到70多家機構(gòu)的支持，包括阿里巴巴、Arm、思科、谷歌、哈佛大學、英特爾、Meta、微軟和多倫多大學等。

請閱讀技術(shù)博客，詳細了解我們?nèi)绾螌崿F(xiàn)這些最新的成果。

NVIDIA在基準測試中使用的所有軟件均可從 MLPerf 軟件庫中獲得，因此每個人都能實現(xiàn)全球領先的結(jié)果。我們不斷將這些優(yōu)化措施整合到NVIDIA NGC軟件中心的容器中供GPU應用使用。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。