CPU 資源太滿塞不下,傳蘋果研究將 LLM 存在 NAND

作者 | 發布日期 2023 年 12 月 22 日 11:09 | 分類 AI 人工智慧 , Apple , 記憶體 line share follow us in feedly line share
CPU 資源太滿塞不下,傳蘋果研究將 LLM 存在 NAND


為了發展自家生成式 AI,蘋果一直在測試大型語言模型(LLM),但蘋果同時要思考的是,要如何將 LLM 塞進手機與筆電。現在有消息稱,LLM 對 CPU 與記憶體資源負荷太重,蘋果正嘗試將 LLM 存在 NAND 快閃記憶體,以實現多裝置輕鬆存取的目標。

一般情況 LLM 需要 AI 加速器與較高 DRAM 儲存容量。《TechPowerUp》報導,蘋果努力將 LLM 技術導入記憶體容量有限的設備;蘋果發表論文,探討如何將 LLM 導入記憶體容量有限裝置(如 iPhone),蘋果研究員開發用快閃記憶體儲存 AI 模型資料的技術。

論文指出,蘋果 iPhone 與 Mac 有大量可用快閃記憶體,透過稱為「視窗化」技術繞過限制視窗,讓資料更有效分組,使 AI 模型更快從快閃記憶體讀取資料,並加速理解力。AI 模型也會重複使用處理過數據,減少提取快閃記憶體資料的需求,讓整個處理過程更快。

上述兩種方法都使 AI 模型運行速度達 iPhone 可用 RAM 大小的兩倍,使標準處理器速度提高五倍、圖形處理器速度提高 25 倍。

有大量證據證明,蘋果相當重視 AI;首先是自家聊天機器人(Apple GPT)。據傳明年 iPhone 16 系列會搭載升級麥克風,雖然對蘋果成本提高不少,但可升級語音輸入功能,對 Siri 執行多項任務非常必要。

另有傳言,某種形式生成式 AI 明年發表時,會整合至 iOS 18 作業系統;即便現在蘋果技術還落後 OpenAI、Google、亞馬遜等公司,但這技術差距可能會在 2024 年大幅縮小。

(首圖來源:Image by fabrikasimf on Freepik)