從人工智慧的大型語言模型，回顧記憶體匱乏症與可能解藥 |
作者
痴漢水球|發布日期
2023 年 05 月 10 日 8:00 |
|
人工智慧訓練的浮點運算量（Flops）每年都大幅增長，自然語言處理（NLP）、機器視覺（CV）和語音識別學習過去十年，以 2 年 15 倍速度攀升。自從 Google 在 2017 年推出 Transformer 模型，更激增到「2 年 750 倍」。但瓶頸並非運算能力，而是記憶體的「容量」（Capacity）、「頻寬」（Bandwitdh）與「延遲」（Latency），無論晶片內、晶片之間還是人工智慧加速器間通訊。 繼續閱讀..
記憶體廠聚焦 CXL 記憶體擴充器產品，突破 AI / ML 伺服器 DRAM 硬體限制 |
|
作者
TechNews|發布日期
2022 年 10 月 11 日 15:01 |
|
TrendForce 最新伺服器報告指出，CXL（Compute Express Link）原希望整合各 xPU 性能， 最佳化 AI 與 HPC 硬體成本，突破硬體限制。CXL 支援仍以 CPU 為源頭發想，但可支援 CXL 功能的伺服器 CPU 英特爾 Sapphire Rapids 與 AMD Genoa 現階段僅支援至 CXL 1.1 規格，可先做到的產品是 CXL 記憶體擴充（CXL Memory Expander）。TrendForce 認為，各種 CXL 相關產品 CXL 記憶體擴充將成為前驅產品，產品也與 DRAM 最相關。 繼續閱讀..
AI 發展驅動高效能運算需求提升，仰賴 HBM 與 CXL 優化硬體效能 |
|
作者
TechNews|發布日期
2021 年 11 月 15 日 14:10 |
|
根據 TrendForce 最新發表的伺服器報告指出，近幾年受到新興應用的激勵，加速了人工智慧及高效能運算的發展，且伴隨著仰賴機器學習及推論的需求提升，建構出的模型複雜度隨著需求的精細程度有所增加，因此在計算時需處理的資料量隨之增大。在此情境下，龐大的資料處理量受硬體效能侷限， 導致使用者在設備的建置面臨了效能、容量、延遲度以及成本間的取捨問題，刺激 HBM（High Bandwidth Memory）及 CXL（Compute Express Link）的出現。功能上來說，HBM 為新型態記憶體， 主要協助更多元、高複雜運算而需要的I/O輔助，而 CXL 則為使記憶體資源共享的協定，提供 xPU 更為便捷的應用。
