NVIDIA H100 首次亮相 MLPerf,測試結果刷新紀錄

作者 | 發布日期 2022 年 09 月 13 日 8:45 | 分類 AI 人工智慧 , GPU , IC 設計 Telegram share ! follow us in feedly


MLCommons 社群 9 日發表最新 MLPerf 2.1 基準測試結果,有近 5,300 個性能結果和 2,400 個功耗結果,各比上一輪提升 1.37 倍和 1.09 倍,MLPerf 適用範圍再擴大。

阿里巴巴、華碩、微軟Azure、壁仞科技、戴爾、富士通、技嘉、H3C、HPE、浪潮、英特爾、Krai、聯想、Moffett、Nettrix、Neural Magic、NVIDIA、OctoML、高通、SAPEON 和 Supermicro 是本輪測試貢獻者。

NVIDIA表現依然亮眼,首次攜H100參加MLPerf測試,就在所有工作負載刷新世界紀錄。

H100打破世界記錄,較A100性能提升4.5倍

NVIDIA 3月發表基於新架構NVIDIA Hopper的H100 GPU,與兩年前NVIDIA Ampere架構相比,有數量級性能飛躍。黃仁勳曾在GTC 2022表示,20個H100 GPU便可負擔全球網路流量,幫助客戶推出先進推薦系統與即時運算推理的大型語言模型。

讓AI業者期待的H100原定第三季上市,目前接受預定,用戶真實使用方式和H100實際性能尚不知,可透過最新MLPerf測試窺見一點H100的性能。

與英特爾Sapphire Rapids、高通Cloud AI 100、Biren BR104、SAPEON X220-enterprise相較,NVIDIA H100不僅提交資料中心所有六個神經網路模型的測試成績,且單個伺服器和離線場景均展現傳送量和速度的領先優勢。

以NVIDIA A100為例,H100在MLPerf模型規模最大且對性能要求最高的模型之一──自然語言處理BERT模型表現4.5倍性能提升,其他五個模型也有1~3倍性能提升。H100能BERT模型表現出色,主要歸功於Transformer Engine。

其他提交成績的產品,只有Biren BR104在離線場景ResNet50和BERT-Large模型,比NVIDIA A100性能提升一倍多,其他產品均未超越A100。

資料中心和邊緣計算場景,A100 GPU成績依然不俗,得益於NVIDIA AI軟體不斷改進,與2020年7月首次亮相MLPerf相比,A100 GPU達成6倍性能提升。

追求AI通用性,測試成績包括所有AI模型

由於使用者實際應用通常要不同類型神經網路合作,如一個AI應用可能需理解使用者語音請求、圖像分類、提出建議,然後以語音回應,每個步驟都會用到不同AI模型。

MLPerf基準測試涵蓋計算機視覺、自然語言處理、推薦系統、語音辨識等流行AI任務和場景,以便確保用戶有可靠且靈活的性能。測試成績包括模型越多,成績越好,AI能力通用性更佳。NVIDIA AI依然是唯一於資料中心和邊緣計算運算所有MLPerf推理任務和場景的平台。

資料中心方面,A100和H100都提交六個模型測試成績。邊緣計算方面,NVIDIA Orin運算所有MLPerf基準測試,是所有低功耗系統級晶片成績最好的。Orin是將NVIDIA Ampere架構GPU和Arm CPU內核整合成一顆晶片,主要用於機器人、自動機器、醫療機械和其他邊緣嵌入式計算。

Orin已用於NVIDIA Jetson AGX Orin開發者套件及機器人和自動系統生成模考,並支援完整NVIDIA AI軟體堆疊,包括自駕車平台、醫療設備平台和機器人平台。與4月MLPerf首次亮相比,Orin效能提高50%,運算速度和平均能效比上一代Jetson AGX Xavier模組高5倍和2倍。

追求通用型的NVIDIA AI由業界機器學習生態系統支援。這輪基準測試超過70項結果在NVIDIA平台運算,如微軟Azure提交雲端服務運算NVIDIA AI的結果。

(本文由 雷鋒網 授權轉載;首圖來源:NVIDIA