大型雲端業者積極建置 AI 伺服器，加速推升 AI 晶片與 HBM 需求，預估 2024 年先進封裝產能將提升三到四成

根據 TrendForce 研究指出，2023 年由 ChatBOT 等生成式 AI 應用帶動 AI 伺服器成長熱潮，又以大型雲端業者最積極投入，包含 Microsoft、Google、AWS 或其他中系業者如 Baidu、ByteDance 等陸續採購高階 AI 伺服器，以持續訓練及優化其 AI 分析模型。高階 AI 伺服器需採用的高階 AI 晶片，將推升 2023-2024 年高頻寬記憶體（HBM）的需求，並驅動先進封裝產能 2024 年將成長三到四成。

TrendForce指出，為提升整體AI伺服器的系統運算效能，以及記憶體傳輸頻寬等，NVIDIA、AMD、Intel等高階AI晶片中大多選擇搭載HBM。目前NVIDIA的A100及H100，各搭載達80GB的HBM2e及HBM3，在其最新整合CPU及GPU的Grace Hopper晶片中，單顆晶片HBM搭載容量再提升20%，達96GB。另外，AMD的MI300也搭配HBM3，其中，MI300A容量與前一代相同為128GB，更高階MI300X則達192GB，提升了50%。同時預期Google將於2023年下半年積極擴大與Broadcom合作開發AISC AI加速晶片TPU亦採搭載HBM記憶體，以擴建AI基礎設施。

TrendForce預估，2023年市場上主要搭載HBM的AI加速晶片（如NVIDIA的H100及A100、AMD的MI200及MI300及Google的TPU等），搭載HBM總容量將達2.9億GB，成長率近六成，2024年將持續成長三成以上。

此外，AI及HPC等晶片對先進封裝技術的需求日益提升，其中，以TSMC的CoWoS為目前AI 伺服器晶片主力採用者。CoWoS封裝技術主要分為CoW和oS兩段，其中，CoW主要整合各種Logic IC（如CPU、GPU、AISC等）及HBM記憶體等，另外，oS部分則將上述CoW以凸塊（Solder Bump）等接合，封裝在基板上，最後再整合到PCBA，成為伺服器主機板的主要運算單元，與其他零組件如網路、儲存、電源供應單元（PSU）及其他I/O等組成完整的AI伺服器系統。

TrendForce觀察，估計在高階AI晶片及HBM強烈需求下，TSMC於2023年底CoWoS月產能有望達12K，其中，NVIDIA在A100及H100等相關AI Server需求帶動下，對CoWoS產能較年初需求量，估提升近五成，加上AMD、Google等高階AI晶片需求成長下，將使下半年CoWoS產能較為緊迫，而此強勁需求將延續至2024年，預估若在相關設備齊備下，先進封裝產能將再成長三到四成。

TrendForce指出，值得注意的是，在AI較急促需求下，無論是HBM或CoWoS生產過程中，得後續觀察周邊配套措施，例如直通矽晶穿孔封裝技術（TSV）、中介層電路板（Interposer）以及相關設備（如濕製程設備）等是否能到位，如前置時間（Lead Time）等考量。而在AI強勁需求持續下，估NVIDIA針對CoWoS相關製程，亦不排除將評估其他類似先進封裝外援，例如Amkor或Samsung等，以因應可能供不應求的情形。