AWS 發表 Trainium3 UltraServers,著手開發 Trainium4 晶片

作者 | 發布日期 2025 年 12 月 03 日 6:29 | 分類 AI 人工智慧 , Amazon , 伺服器 line share Linkedin share follow us in feedly line share
Loading...
AWS 發表 Trainium3 UltraServers,著手開發 Trainium4 晶片

AWS(Amazon Web Services,亞馬遜雲端運算服務)打造自研晶片多年,現在正式推出 AI 加速器 Trainium3 及為下一代 AI 工作負載打造的 Trainium3 UltraServers,同時預告 Trainium4 正在開發,能與 NVIDIA GPU 協作。

年度盛會 AWS re:Invent 2025 上,執行長加爾曼(Matt Garman)宣布 Trainium3 隨 Trainium3 UltraServers 正式提供 AWS 客戶使用。

Trainium3 UltraServers 將最多 144 顆 Trainium3 整合在單一系統中,較上一代 Trainium2 UltraServers 帶來高出 4.4 倍運算效能。這使客戶能以更快速度訓練模型,把原先需要數月時間縮短到數週,同時支援更多推理請求,降低上線時間和營運成本,讓過去被視為不切實際或太昂貴的 AI 專案化為可能。

使用 OpenAI 開放權重模型 gpt-oss 進行測試下,Trainium3 UltraServers 能讓客戶在每顆晶片上達到 3 倍吞吐量,同時推理反應時間較 Trainium2 UltraServers 快上 4 倍,代表企業能以更少的基礎建設支撐高峰使用需求,提升使用者體驗的同時,也降低每次推理請求的成本。

Trainium3 UltraServers 受益於 Trainium3 的專屬設計,藉由先進架構創新、晶片互連最佳化、以及強化的記憶體系統,達成性能突破。此外,Trainium3 的能源效率大幅提升,與上一代相比節省 40% 能耗。大規模部署時,這種效率尤其重要,使 AWS 能以更低成本提供 AI 基礎建設,同時減少資料中心對環境的影響。

加爾曼指出,已有多家客戶使用 Trainium3 和 Trainium3 UltraServers 取得成效,包括 Anthropic、Karakuri、Metagenomi、NetoAI、Ricoh、Splash Music 等,訓練成本比其他方案最多降低 50%。

▲ AWS re:Invent 2025 現場展出 Trainium3 UltraServers 機架。(Source:影片截圖)

Trainium4 首度亮相

值得關注還有,AWS 同步公開下一款 AI 加速器 Trainium4,目前正在開發中,AWS 尚未公布 Trainium4 推出時程。AWS 承諾將 Trainium4 帶往另一階段的性能大幅提升,至少 6 倍處理性能(FP4)、3 倍 FP8 性能、4 倍記憶體頻寬。

此外,Trainium4 支援 NVIDIA NVLink Fusion 高速互連技術,使 Trainium4、Graviton 及 EFA(Elastic Fabric Adapter)能在通用的 MGX 機架順暢協作,與 NVIDIA GPU 相互操作、擴展性能。

(首圖為 Trainium3,來源:亞馬遜

想請我們喝幾杯咖啡?

icon-tag

每杯咖啡 65 元

icon-coffee x 1
icon-coffee x 3
icon-coffee x 5
icon-coffee x

您的咖啡贊助將是讓我們持續走下去的動力

總金額共新臺幣 0
《關於請喝咖啡的 Q & A》