3D DRAM 內建 AI 處理！NEO 新技術可取代 HBM，解決現有瓶頸

專注於 3D DRAM、3D NAND 記憶體廠 NEO Semiconductor 發表最新 3D X-AI 晶片技術，取代目前用於 AI GPU 加速器的 HBM。

據悉，這款 3D DRAM 內建 AI 處理功能，使處理和生成不需要數學運算輸出，當大量資料在記憶體與處理器間傳輸時，可減少資料匯流排（Data Bus）問題，提升 AI 效能與效率。

3D X-AI 晶片的底層有個神經元電路層，可處理同一晶片上 300 個記憶體層所儲存的資料。NEO Semiconductor 表示，由於 8,000 個中子電路（neutron circuits）可在記憶體中進行 AI 處理，該 3D 記憶體效能可提升 100 倍，記憶體密度比目前 HBM 高 8 倍，透過減少在 GPU 中處理的資料量，可降低 99% 耗電量。

NEO Semiconductor 創辦人兼執行長許富菖指出，由於架構和技術低效率，目前 AI 晶片浪費大量效能和電力。目前 AI 晶片架構是將資料儲存在 HBM、GPU 負責執行所有運算，這種架構將資料儲存與處理分離，使資料匯流排成為無法避免的效能瓶頸，當大量傳輸資料時效能有限，耗電量也非常高。

3D X-AI 可在每個 HBM 晶片中執行 AI 處理，大幅減少 HBM 與 GPU 之間傳輸的資料，提升效能並大幅降低功耗。

X-AI 容量為 128GB，每個晶片可支援 10 TB/s 的 AI 處理能力。將 12 個裸晶（X-AI）堆疊在單一 HBM 封裝中，可實現超過 1.5 TB 儲存容量和 120 TB/s 處理吞吐量。

目前許多公司研究能提高處理速度和通訊吞吐量的技術，當半導體速度越來越快、效率越來越高時，在元件之間傳輸資料的匯流排將成為瓶頸，因此這樣的技術將可讓所有元件一起加速。

台積電、英特爾、鎧俠等公司都在研究光學技術，以加快主機板內的通訊速度，透過將部分 AI 處理從 GPU 轉到 HBM，NEO Semiconductor 可降低工作量，使效率遠高於目前耗電的 AI 加速器。

• NEO Semiconductor develops 3D DRAM with AI processing — new tech eyes to replace current HBM tech to solve data bus bottlenecks

（首圖來源：NEO）

延伸閱讀：

• 韓媒解析 HBM 供應延誤致「矛盾現象」，是三星利多也是污點？
• 曾經的半導體霸主，如今搖搖欲墜：那些改變英特爾命運的執行長們