NVIDIA H100 首次亮相 MLPerf，測試結果刷新紀錄

MLCommons 社群 9 日發表最新 MLPerf 2.1 基準測試結果，有近 5,300 個性能結果和 2,400 個功耗結果，各比上一輪提升 1.37 倍和 1.09 倍，MLPerf 適用範圍再擴大。

阿里巴巴、華碩、微軟Azure、壁仞科技、戴爾、富士通、技嘉、H3C、HPE、浪潮、英特爾、Krai、聯想、Moffett、Nettrix、Neural Magic、NVIDIA、OctoML、高通、SAPEON 和 Supermicro 是本輪測試貢獻者。

NVIDIA表現依然亮眼，首次攜H100參加MLPerf測試，就在所有工作負載刷新世界紀錄。

H100打破世界記錄，較A100性能提升4.5倍

NVIDIA 3月發表基於新架構NVIDIA Hopper的H100 GPU，與兩年前NVIDIA Ampere架構相比，有數量級性能飛躍。黃仁勳曾在GTC 2022表示，20個H100 GPU便可負擔全球網路流量，幫助客戶推出先進推薦系統與即時運算推理的大型語言模型。

讓AI業者期待的H100原定第三季上市，目前接受預定，用戶真實使用方式和H100實際性能尚不知，可透過最新MLPerf測試窺見一點H100的性能。

與英特爾Sapphire Rapids、高通Cloud AI 100、Biren BR104、SAPEON X220-enterprise相較，NVIDIA H100不僅提交資料中心所有六個神經網路模型的測試成績，且單個伺服器和離線場景均展現傳送量和速度的領先優勢。

以NVIDIA A100為例，H100在MLPerf模型規模最大且對性能要求最高的模型之一──自然語言處理BERT模型表現4.5倍性能提升，其他五個模型也有1~3倍性能提升。H100能BERT模型表現出色，主要歸功於Transformer Engine。

其他提交成績的產品，只有Biren BR104在離線場景ResNet50和BERT-Large模型，比NVIDIA A100性能提升一倍多，其他產品均未超越A100。

資料中心和邊緣計算場景，A100 GPU成績依然不俗，得益於NVIDIA AI軟體不斷改進，與2020年7月首次亮相MLPerf相比，A100 GPU達成6倍性能提升。

追求AI通用性，測試成績包括所有AI模型

由於使用者實際應用通常要不同類型神經網路合作，如一個AI應用可能需理解使用者語音請求、圖像分類、提出建議，然後以語音回應，每個步驟都會用到不同AI模型。

MLPerf基準測試涵蓋計算機視覺、自然語言處理、推薦系統、語音辨識等流行AI任務和場景，以便確保用戶有可靠且靈活的性能。測試成績包括模型越多，成績越好，AI能力通用性更佳。NVIDIA AI依然是唯一於資料中心和邊緣計算運算所有MLPerf推理任務和場景的平台。

資料中心方面，A100和H100都提交六個模型測試成績。邊緣計算方面，NVIDIA Orin運算所有MLPerf基準測試，是所有低功耗系統級晶片成績最好的。Orin是將NVIDIA Ampere架構GPU和Arm CPU內核整合成一顆晶片，主要用於機器人、自動機器、醫療機械和其他邊緣嵌入式計算。

Orin已用於NVIDIA Jetson AGX Orin開發者套件及機器人和自動系統生成模考，並支援完整NVIDIA AI軟體堆疊，包括自駕車平台、醫療設備平台和機器人平台。與4月MLPerf首次亮相比，Orin效能提高50%，運算速度和平均能效比上一代Jetson AGX Xavier模組高5倍和2倍。

追求通用型的NVIDIA AI由業界機器學習生態系統支援。這輪基準測試超過70項結果在NVIDIA平台運算，如微軟Azure提交雲端服務運算NVIDIA AI的結果。

（本文由 雷鋒網 授權轉載；首圖來源：NVIDIA）