市場消息傳出，為了解決「記憶體牆」問題，全球記憶體與封裝產業正評估一種全新架構，即將 GPU 與 HBM 拆開、分別封裝。
根據韓媒 zdnet 報導，這個核心概念是，將原本緊鄰 GPU 配置的 HBM 拉開一定距離，再透過光學（Optics）互連技術橋接兩者之間的資料傳輸，如此便可安裝比現行架構多出數倍的 HBM 容量。
報導引述一位記憶體廠的研究人員表示，「目前我們在擴展 HBM 頻寬與容量方面面臨困難，因此正與客戶討論，透過光學互連突破 GPU shoreline（晶片邊界）限制，以安裝更多 HBM」。所謂的 shoreline，是指晶片周圍可供配置 HBM 的邊界長度。
報導指出，雖然 GPU 性能每一代都大幅提升，但記憶體儲存與供應資料的速度卻未能同步跟上，形成「記憶體牆」。雖然 HBM 具備更寬的資料通道，但業界認為其頻寬與傳輸速度仍不足以應付 AI 運算需求的爆炸性成長。
過去業界主要透過持續增加 HBM 堆疊層數，在有限面積內提升容量與頻寬，但隨著堆疊層數從 12 層、16 層進一步朝 20 層以上發展，製程難度也呈指數級上升。目前在固定高度規範越來越難滿足等物理限制，使垂直堆疊技術逐漸逼近極限，甚至連 JEDEC 也已放寬 HBM 高度規範。
報導指出，目前更大問題在於，如果無法再往上增加堆疊層數，另一種方法就是在 GPU 周圍橫向增加更多 HBM，但這同樣面臨限制。在目前 2.5D 封裝架構中，GPU 與 HBM 被緊密安裝於同一塊基板上，而可放置的 HBM 數量，則完全受限於 GPU 晶片周圍有限的 shoreline 長度。
即使市場希望搭載更多 HBM，實際上也沒有足夠空間可供安裝，導致產業陷入結構性瓶頸。對此，半導體業界近期提出全新替代方案，也就是將 GPU 與 HBM 分離，分別封裝。
報導指出，這種做法顛覆了過去「晶片之間必須靠近，才能降低資料傳輸延遲」的設計原則。新架構不再要求兩者緊鄰，而是透過超高速光學訊號連接，克服距離增加帶來的問題。
透過將 HBM 從 GPU 周圍稍微移開，可解除 GPU shoreline 的空間限制。少了這項限制後，HBM 便能以橫向方式大幅擴展，在同一塊電路板上安裝數倍於現有架構的記憶體容量，而不需要極端提高堆疊層數。這也意味著，AI 加速器系統的整體記憶體容量與資料頻寬，將能獲得遠超現有架構的提升。
報導指出，目前業界已開始提出多種 HBM 在 GPU 板上配置的新架構方案，其中一個討論方案是善用 GPU 周圍空間，甚至將 HBM 獨立配置到 GPU 板下方。若是如此，就需要垂直擴展主機板，目前甚至已與 GPU 廠商討論整體 form factor（外型規格）調整的可能性。
業界人員透露，「我們正開放所有可能性，與合作夥伴討論最佳配置方案。雖然尚未形成正式路線圖，但已做為下一代 AI 加速器的前期研究方向之一」。封裝測試產業也正密切關注這項趨勢。
在新的架構下，HBM 可能改為距離 GPU 數公分外環繞排列，或是在電路板中央另行建立獨立的 HBM 區域。
全球 OSAT 廠高層表示，光學互連已是明確發展方向，問題只剩時間點。未來會先由機架對機架（rack-to-rack）、伺服器對伺服器（server-to-server）連接導入光學技術，之後再進一步擴展至單一板卡內部的 chip-to-chip 光互連。
該高層表示，大型系統會率先採用光學技術，但目前光學研究進展非常快，因此真正導入板內 chip-to-chip 光互連的時間點，可能不會太遙遠。
從技術層面來看，GPU 與 HBM 間的光學互連，與資料中心內伺服器彼此之間的光通訊原理相同，差別在於原用於大型設備間通訊的光學轉換技術，如今必須縮小至單一電路板與晶片等級，因此技術難度大幅提高。
一名韓國 CPO 元件廠主管表示，隨著 HBM 堆疊高度逐漸接近極限，業界開始討論透過橫向擴展記憶體，來最大化可安裝容量。原理與現有資料中心光互連相同，但 HBM 光學互連需要在狹小板內空間運作，因此光學元件必須進一步微型化，並達到更高整合密度，技術難度也因此更高。
（首圖來源：shutterstock）
科技新報粉絲團
加入好友
訂閱免費電子報
