今年 Google I/O 2024 開發者大會，Google 發表第六代 TPU──Trillium，是該公司至今最高性能且最節能的 TPU。Trillium 則幫助 Google 推動 Gemini 2.0，支援新模型訓練和推理。
Trillium 這款客製化加速器為 Google 新發表 Gemini 2.0 模型的訓練和推理提供 100% 支援，訓練性能提升超過 4 倍，現在 Trillium 正式提供給 Google Cloud 客戶使用。
與上一款 TPU v5e 相比，Trillium 每一晶片峰值計算效能提升 4.7 倍，Google 將其高頻寬記憶體（High Bandwidth Memory，HBM）容量加倍，晶片間互連網路（Interchip Interconnect，ICI）頻寬也加倍。
不只如此，Trillium 能源效率比 TPU v5e 高出 67%，這是資料中心面對 AI 訓練產生龐大用電需求的重要指標，凸顯減少能源消耗。Trillium 每美元的訓練性能提升 2.5 倍，每美元的推理性能也提升 1.4 倍。
Trillium 部署規模也是前所未有，Google 在 Jupiter 網路架構連接超過 10 萬個 Trillium，希望打造世界上最強大的 AI 超級電腦。
AI 軍備競賽如火如荼，其中 NVIDIA 憑藉其 GPU 及解決方案在市場占有主導地位。雖然 NVIDIA 晶片仍是許多 AI 應用的產業標準，然而 Trillium 這樣的客製化加速器在特定工作負載具優勢，特別是訓練大型語言模型更能顯現性能、減少成本。
（首圖來源：Google Blog）
科技新報粉絲團
加入好友
訂閱免費電子報
