英偉達發(fā)布數據中心用L40S GPU,性能強于A100

8月9日消息,9日凌晨,英偉達CEO黃仁勛再次登上了世界頂級計算機圖形學會議SIGGRAPH的舞臺,發(fā)布多款商用端產品,其中包括專為搭建數據中心而設計的L40S GPU。

據悉,基于Ada Lovelace架構的L40S,配備有48GB的GDDR6顯存和846GB/s的帶寬。在第四代Tensor核心和FP8 Transformer引擎的加持下,可以提供超過1.45 PetaFLOPS的張量處理能力。

對于算力要求較高的任務,L40S的18,176個CUDA核心可以提供近5倍于A100的單精度浮點(FP32)性能,從而加速復雜計算和數據密集型分析。

此外,為了支持如實時渲染、產品設計和3D內容創(chuàng)建等專業(yè)視覺處理工作,英偉達還為L40S 還配備了142個第三代RT核心,可以提供212 TFLOP的光線追蹤性能。功耗同時也達到了350瓦。

對于具有數十億參數和多種模態(tài)的生成式AI工作負載,L40S相較于A100可實現(xiàn)高達1.2倍的推理性能提升,以及高達1.7倍的訓練性能提升。

在L40S GPU的加持下,英偉達還針對數據中心市場,推出了最多可搭載8張L40S的OVX服務器。英偉達方面宣布,對于擁有8.6億token的GPT3-40B模型,OVX服務器只需7個小時就能完成微調;對于Stable Diffusion XL模型,則可實現(xiàn)每分鐘80張的圖像生成。

極客網企業(yè)會員

免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現(xiàn)的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。

2023-08-09
英偉達發(fā)布數據中心用L40S GPU,性能強于A100
基于Ada Lovelace架構。

長按掃碼 閱讀全文