Blackwell 訓練效能大增 統計：達 Hopper 兩倍以上

輝達（Nvidia Corp.）最新一代繪圖處理器（GPU）在訓練 AI 系統方面有了新進展，最新統計發現，訓練大型語言模型（LLM）需要的晶片數量大幅降低。

路透社報導，經常出具AI系統效能標竿報告的非營利機構MLCommons，4日首度釋出輝達、超微（AMD）等廠商的AI晶片，針對Meta旗下4,050億參數「Llama 3.1」等人工智慧模型的訓練數據。

結果發現，輝達每顆最新世代Blackwell晶片的AI模型訓練速度，是上一代Hopper晶片的兩倍以上。

在速度最快的訓練案例中，2,496顆Blackwell晶片只花27分鐘就完成AI模型的訓練任務。相較之下，Hopper晶片需要三倍以上的數量，完成訓練的時間才能略快一些。

跟輝達合作產出上述部分效能測試結果的CoreWeave產品長Chetan Kapoor表示，AI產業如今逐漸傾向把一小群晶片串接成次系統，用來進行不同的AI訓練任務，而不是像過去那樣打造動輒100,000顆同質晶片（甚至更多）的巨大訓練叢集。

Kapoor說，那些參數數兆的巨大AI模型，只要透過這種方式，就能加快或減少訓練時間。

值得注意的是，Barron’s報導，輝達加速運算部門負責人Ian Buck 4日在美銀全球科技大會（BofA Securities Global Technology Conference）上表示，AI推論（Inference）出現爆炸性需求，主要是受到自動推理（reasoning）的模型日漸獲得應用帶動。他說，推理功能「增添了非常多價值」。

（本文由 MoneyDJ新聞 授權轉載；首圖來源：輝達）

延伸閱讀：

• 輝達：新型 AI 要長時間思考、需要的算力多 100 倍