受新品 AI 加速晶片帶動，HBM3 與 HBM3e 將成為 2024 年市場主流

TrendForce 調查顯示，今年 HBM（High Bandwidth Memory）市場主流為 HBM2e，含 NVIDIA A100 / A800、AMD MI200 及多數 CSPs 自研加速晶片皆以此規格設計。為因應 AI 加速器晶片需求演進，各原廠再於 2024 年推出新產品 HBM3e，HBM3 與 HBM3e 將成明年市場主流。

若探究HBM各世代差異，主要以速度細分。除了市場已知HBM2e，進入HBM3世代時，產業出現較混亂名稱。TrendForce特別表示，市場所稱HBM3實際需分為兩種速度討論，一，5.6~6.4Gbps的HBM3；二，8Gbps的HBM3e，別名HBM3P、HBM3A、HBM3+、HBM3 Gen2皆屬此類。

三大原廠HBM發展進度如下：韓廠SK海力士（SK Hynix）、三星（Samsung）先從HBM3開發，代表產品為NVIDIA H100 / H800及AMD MI300系列，預定2024年第一季送樣HBM3e；美系廠美光（Micron）選擇跳過HBM3，直接開發HBM3e。

HBM3e將由24Gb mono die堆疊，八層（8Hi）基礎上，單顆HBM3e容量一口氣提升至24GB，導入2025年NVIDIA GB100，故三大原廠預定2024年第一季送樣HBM3e，以期下半年量產。

CSP陸續啟動自研AI加速晶片計畫，欲擺脫依賴NVIDIA與AMD

觀察AI伺服器（AI server）加速晶片，NVIDIA伺服器GPU市占最高。然單張20,000~25,000美元H100 / H800，一台AI伺服器建議配備八張，使總體擁有成本（Total Cost of Ownership，TCO）大幅提升。TrendForce觀察，各雲端業者（CSP）雖仍會向NVIDIA或超微（AMD）採購伺服器GPU，但也同步自研AI加速晶片。

除了行之有年的Google TPU與AWS Trainium和Inferentia，Google與AWS也著手研發次世代自研AI加速晶片，採HBM3或HBM3e。TrendForce表示，其他北美及中國雲端服務業者也有相關驗證進行，將來AI加速晶片版圖競爭會更激烈。