比輝達 H100 更強！NVIDIA 最強 AI 晶片 GH200 是什麼？驚人跑分曝光

生成式 AI 運算需求不斷增長，助推 GPU 大廠輝達（NVIDIA）股價大漲再創新高。8 月中 NVIDIA 執行長黃仁勳展覽時再次力推 DGX GH200，是採 Grace Hopper 加速運算卡打造的新世代生成式 AI 超級晶片，也是 NVIDIA 首款 Exaflop 等級的 DGX 超級電腦產品。

性能輾壓 H100 17%

根據 9 月 11 日跑分數據，NVIDIA 宣布旗下 GH200、H100、L4 GPU 與 Jetson Orin 同類產品都獲得領先表現。

GH200 首次提交單一晶片，與單張 H100 配合英特爾 CPU 比較後，GH200 組合各測試都至少有 15% 左右提升。NVIDIA 人工智慧總監 Dave Salvator 新聞發表會表示：

Grace Hopper 首次表現非常強勁，與提交 H100 GPU 相比，性能提高 17%，而我們已全面領先。

▲ NVIDIA GH200 各方面輾壓 H100。（Source：NVIDIA）

GH200 是什麼？

官方說明，NVIDIA GH200 是首個將 H100 GPU 和 Grace CPU 整合在一起的超級晶片，這兩者之間再通過頻寬高達 900GB/s 的 NVLink-C2C 連互連接，擴充性更佳，以超快速度訓練深度學習。

簡單來說 GH200 就是記憶體容量更大，頻寬也更大，並且能自動調節 CPU 和 GPU 間自電力，增加整體效能表現。

▲ NVIDIA GH200 Grace Hopper 超級晶片的架構。（Source：NVIDIA）

NVIDIA 表示 GH200 有三大特點：

適用大型模型的龐大記憶體：為開發人員提供超過 500 倍記憶體打造大型模型。
超節能運算：頻寬提升 7 倍，互連功耗降低逾 5 倍。
已整合且立即執行：數週內即可打造大型模型。

多數選手性能比上一代提升至 20%

5 月 COMPUTEX 期間，NVIDIA CEO 黃仁勳提到 GH200 晶片預定 2024 年第二季量產。MLPerf v3.1 基準測試超過 13,500 個結果，不少提交者性能比 3.0 基準提高 20% 以上。

MLPerf 是讓客戶評估 AI 晶片效能的常用工具。

其他提交者有華碩、Azure、Connect Tech、DELL、富士通、Giga Computing、Google、H3C、HPE、IEI、英特爾、英特爾 Habana Labs、Nutanix、甲骨文、高通、Quanta Cloud Technology、SiMA、Supermicro、TTA 和 xFusion 等。