MLPerf 基準測試結果公布,Nvidia 稱霸 AI 推理大賽

作者 | 發布日期 2019 年 11 月 08 日 13:30 | 分類 AI 人工智慧 , GPU follow us in feedly


今年稍早發表訓練(Training)基準測試分數之後,MLPerf 日前發表推理(Inference)基準測試的第一組得分結果。

與目前有 5 家公司所參加共 63 項 MLPerf 基準測試項目的訓練回合相比,有更多公司提交結果。共有 14 個組織 500 多個分數得到驗證。包括幾家新創公司的數字,然而一些知名的新創公司顯然沒有參加。

支援可讓系統直接對決之嚴格條件的封閉專區(Closed Division),結果顯示效能有 5 個等級差異,並在預估功耗方面跨越 3 個等級。在開放專區(Open Division),廠商提交可使用一系列模型,包括低精準度的實作。

Nvidia 宣稱取得封閉專區所有商用元件類別第一名。資料中心類別的其他領導廠商包括 Habana Labs、Google 和英特爾(Intel),而 Nvidia 則在邊緣類別與 Intel 及高通(Qualcomm)一較高下。

「Nvidia 是唯一一家擁有量產矽晶、軟體、可程式性及人才,同時發表所有類型 MLPerf 基準測試成績,並贏得幾乎所有測試類別的公司,」市場研究公司 Moor Insights and Strategy 分析師 Karl Freund 指出:「GPU 的可程式性為將來的 MLPerf 版本提供了獨特的定位……我認為這在在展露了 Nvidia 實力的廣度,以及挑戰者的利基本質。但隨著時間推移,許多競爭對手將逐漸成熟,因此 Nvidia 需要在硬體和軟體方面持續創新。」

Nvidia 公布顯示測試結果判定的圖表,針對商用元件的所有 4 個封閉專區測試情境皆名列第一。

這些情境代表不同的使用案例。例如針對資料中心推理的離線和伺服器情境。離線情境表示要對大量照片進行離線相片標記作業,並測量純資料傳輸總量。伺服器情境表示來自不同使用者的多個請求,在不可預測的時間提交請求,並在固定時間內測量資料傳輸總量的使用案例。邊緣情境包括單一串流與多串流,前者會對像是行動手機 App 的單一影像進行推理計時,後者則會測量多攝影機系統有多少串流影像能同步推論。

參賽公司可提交所選機器學習模型的結果,這些模型在四個情境分別執行圖像分類、物件檢測和語言轉譯。

Nvidia 在伺服器和離線類別所有 5 個基準測試拿下第一

「從資料中心的結果來看,Nvidia 在伺服器和離線類別的所有 5 個基準測試皆拔得頭籌,」Nvidia 加速運算產品管理總監 Paresh Kharya 表示:「我們的圖靈 GPU 在商用解決方案方面遠勝其他公司。」

Kharya 特別強調,亦即 Nvidia 是唯一一家提交資料中心類別所有 5 個基準測試模型結果的公司,而在伺服器類別(這是更困難的情境),Nvidia 的效能表現皆高出競爭對手甚多。

資料中心領域最接近 Nvidia 表現的競爭對手是以色列新創公司 Habana Labs,擁有 Goya 推理晶片。

「Habana 是唯一全面投產高效能矽晶的挑戰者,有望支援功耗資料的下一版 MLPerf 套件應會有更好表現。」分析師 Karl Freund 表示。

Habana Labs 指出,基準測試分數純粹基於效能,功耗並非測量標的,不包含實用性(比如考慮某個解決方案是採無風扇冷卻還是水冷式設計),也不包含成本。

Habana 並透過開放專區來展現低延遲能力,延遲的限制比封閉專區更嚴格,並提交多串流情境的結果。

在邊緣基準測試,Nvidia 拿下商用解決方案之封閉專區所有四個類別的冠軍頭銜。高通 Snapdragon 855 系統單晶片與 Intel Xeon CPU 則在單一串流類別緊跟其後,然而高通和 Intel 都沒有提交更困難的多串流情境測試結果。

另外 MLPerf 發表許多「預覽版」系統(即未正式上市的系統)測試結果,包括專門針對 Intel’s Nervana NNP-I 的阿里巴巴旗下「平頭哥」公司「含光」(Hanguang)晶片、以色列新創公司 Halio 的 Hailo-8,以及 Centaur Technologies 的參考設計。與此同時,研發類的主要參賽廠商是一家鮮為人知的南韓新創公司 Furiosa AI。

(首圖來源:Nvidia