Arm 近期宣布透過將 Kleidi 技術整合到 PyTorch 和 ExecuTorch，促使新一代應用在 Arm CPU 上運行大語言模型（LLM）。Kleidi 彙集最新的開發人員賦能技術和關鍵資源，目標是推動機器學習技術堆疊中的技術協作和創新。
在雲端，Kleidi 以利用 Arm Compute Library（ACL）強化 PyTorch 帶來的成果為基礎，為世界各地在 Arm 平台上優化 AI 的開發人員打造藍圖。Arm 直接與 PyTorch 和 TensorFlow 進行 Arm Kleidi Libraries（函式庫）的整合合作，這包括將基本的 Arm 函式庫整合到上述的領先框架中。
Arm 策略與生態部開發人員技術副總裁 Alex Spinelli 表示，自該技術推出的四個月以來，Kleidi 已在 Arm CPU 上加速開發並顯著提升主要的 AI 效能。Arm 與 PyTorch 社群的緊密合作，印證了該技術可大幅減少開發人員利用高效率 AI 所需的工作量。
同時，Arm 持續與 ML 技術堆疊的各個關鍵部分緊密合作，攜手 AWS 和 Google 等雲端服務供應商以及 Databricks 等迅速壯大的 ML 獨立軟體開發商（ISV）社群，進而協助開發人員立於技術的前端。
Arm 指出，為協助開發人員將 Arm 提供的資源應用到實際案例中至關重要，公司創立範例軟體堆疊和學習資源，向開發人員展示如何在 Arm CPU 上建構 AI 工作負載，進而迅速推動 Arm 系統的廣泛採用，加快開發人員在 Arm 系統上的部署速度。
此外，KleidiAI 還將被整合到 ExecuTorch（PyTorch 新的裝置端推理運行 runtime）。這項整合預計將於 2024 年 10 月完成，有望為目前正在 ExecuTorch 中進行生產測試或推出的裝置端應用帶來顯著的效能提升。
Arm 指出，將繼續積極地為 PyTorch 社群推出強化功能，並專注於針對各種整數格式提供量化優化，進一步提高效能。同時，近日 Arm 加入 PyTorch 基金會成為 Premier 成員， Arm 也將持續致力於協助全球各地的開發人員，在 Arm 平台上充分發揮端到端 AI 的潛力，進而塑造尖端的 AI 和應用功能。
（首圖來源：shutterstock）
科技新報粉絲團
加入好友
訂閱免費電子報
