NVIDIA 發表 H200 NVL、GB200 NVL4 平台,企業伺服器運作再加速

作者 | 發布日期 2024 年 11 月 21 日 17:44 | 分類 AI 人工智慧 , GPU , 伺服器 line share Linkedin share follow us in feedly line share
NVIDIA 發表 H200 NVL、GB200 NVL4 平台,企業伺服器運作再加速

NVIDIA 又發表兩款產品,分別是 GB200 NVL4 及 H200 NVL PCIe GPU,前者為配備兩個 Grace CPU 的巨型四核心 B200 GPU 模組,以及 H200 NVL PCIe GPU,主要針對氣冷式資料中心。

GB200 Grace Blackwell NVL4 Superchip 一塊主機板搭載高達四顆 B200 GPU,透過 NVLink 與兩顆以 Arm 為基礎的 Grace CPU 相連。此解決方案針對 HPC 與 AI 混合工作負載,有高達 1.3TB 記憶體。NVIDIA 宣稱 GB200 NVL4 相較於前身 GH200 NVL4,模擬性能提高 2.2 倍,訓練與推理效能提高 1.8 倍。

NVIDIA 指出,GB200 NVL4 超級晶片下半年將在微星華碩技嘉緯創和碩永擎電子(ASRock Rack)、聯想、HP 等多家供應商上市。

至於另一款 H200 NVL 是一款雙插槽氣冷式 GPU,採用 PCIe 介面,PCIe 5.0 連接能力(每秒 128 GB)。此冷卻器針對機架安裝解決方案進行最佳化,採用直通式設計,進氣從右向左流動,沒有鼓風機風扇。

近期調查顯示,約 70% 企業機架功率 20kW 以下與採氣冷。使 PCIe GPU 變得非常重要,因為不管一顆、兩顆、四顆或八顆 GPU,PCIe GPU 都能提供更細緻節點部署,讓資料中心在更小空間裝載更多運算能力。企業可用現有機架,選擇最適合需求的 GPU 數量。

企業可用 H200 NVL 加速執行 AI 和 HPC 應用,同時還能降低功耗以提高能源使用效率。與上代 H100 NVL 相比,H200 NVL 記憶體增加 1.5 倍,頻寬增加 1.2 倍,企業可用 H200 NVL 數小時內微調 LLM 與得到高 1.7 倍的推論效能。處理 HPC 工作負載方面,效能比 H100 NVL 高 1.3 倍,比 Ampere 架構世代提升 2.5 倍。

H200 NVL 也配備 NVLink,每 GPU 頻寬高達 900GB/s,系統供應商能在單一機架連接高達四個 GPU,提升效能。

H200 NVL 由戴爾、HP、聯想和美超微等多家供應商出貨。新 GPU 將在 Aivres、永擎電子、華碩、技嘉、鴻佰、英業達、微星、和碩、雲達、緯創和緯穎等廠商平台銷售。

(首圖來源:NVIDIA)

延伸閱讀:

想請我們喝幾杯咖啡?

icon-tag

每杯咖啡 65 元

icon-coffee x 1
icon-coffee x 3
icon-coffee x 5
icon-coffee x

您的咖啡贊助將是讓我們持續走下去的動力

總金額共新臺幣 0
《關於請喝咖啡的 Q & A》