由產業人士和學術界組成的開放工程聯盟（MLCommons）自 2018 年推出 MLPerf 產業基準，是衡量機器學習性能、提高科技透明度的常見指標。隨著科技大廠針對 MLPerf Inference 4.1 提出測試資料，尤其 NVIDIA 下一代 Blackwell GPU 首次參與測試，讓業界看出各家晶片性能提升至什麼程度。
MLPerf Inference 4.1 測試結果有一系列值得關注的新增內容，像是 MLPerf 首次引進 MoE（Mixture of Experts Models，混合專家模型）性能評估，特別採用開源 Mixtral 8×7B 模型。這一輪基準測試更展示一些令業界關注的晶片和系統，有些還是首次公開測試結果，比方說 AMD MI300X、Google TPU v6e（Trillium）、英特爾 Granite Rapids、Untether AI speedAI 240 等，還有最受市場矚目的 NVIDIA B200。
雖然 Blackwell GPU 交付到客戶手中還需要幾個月時間，但 MLPerf Inference 4.1 測試結果可讓客戶一窺即將到來的強大性能。Blackwell GPU 由於使用 NVIDIA 第二代 Transformer 引擎和 FP4 Tensor 核心，處理 MLPerf 設定的 Llama 2 70B 模型，首次測試結果顯示性能較自家 Hopper 架構的 H100 高出 4 倍之多。
而在單一 B200、H200 及競爭對手 MI300X 的比較，MLPerf Inference 4.1 測試結果運用 Llama 2 70B 計算每秒生成 token 數，可看出 B200 的表現遙遙領先 H200 和 MI300X，性能平均達到 H200 約 2.5 倍，更是 MI300X 的 4 倍左右。可見主流的 H200 明顯勝過 MI300X，換成下一代 B200 更是大勝。
▲ 比較 AMD MI300X 750W、NVIDIA H200 1kW 和 B200 1kW 的 MLPerf Inference 4.1 測試結果。（Source：ServeTheHome）
值得關注的是，MI300X 規格如電晶體、HBM 等比起 H200 複雜，封裝複雜度更高，可推測 AMD 這款 AI 晶片成本高昂，卻要賣得更便宜才能與 NVIDIA 競爭。信昕產研從這一輪 MLPerf 測試結果分析，MI300X 合理價格可能要比目前 H200 低約 30%。
換個角度來看，市場可能對於 NVIDIA 產品毛利高有些意見，一旦性能強大的 NVIDIA GPU 價格再低一點，恐無對手與之競爭。
- MLPerf Inference 4.1 results show gains as Nvidia Blackwell makes its testing debut
- AMD posts first Instinct MI300X MLPerf benchmark results — roughly in line with Nvidia H100 performance
- MLPerf Inference 4.1 NVIDIA B200 Wallops AMD MI300X UntetherAI Rises
（首圖來源：NVIDIA）
科技新報粉絲團
加入好友
訂閱免費電子報
