Arm 推全球首個 Armv9 邊緣 AI 運算平台，促物聯網實現新一代效能

Arm 控股有限公司今（27 日）發布 Armv9 邊緣人工智慧（AI）運算平台，該平台以全新的 Arm Cortex-A320 CPU 和領先的邊緣 AI 加速器 Arm Ethos-U85 NPU 為核心，可支援運行超過 10 億個參數的邊緣端 AI 模型。

為了快速創新和擴展，OEM 廠商需要在合適的位置靈活執行 AI 工作負載，以實現更強大的安全性和更高的軟體靈活性。Arm 此次發佈的運算平台整合了全新的超高效率 Armv9 CPU—Cortex-A320 和支援 Transformer 運算子網路的 Ethos-U85 NPU，打造出全球首個專為物聯網優化的 Armv9 邊緣 AI 運算平台。相較於去年推出的基於 Cortex-M85 的平台，新的邊緣 AI 運算平台的機器學習（ML）效能提高了八倍。

目前該平台受亞馬遜網路服務公司（AWS）、西門子、瑞薩電子、研華科技和 Eurotech 等多間業界領先合作夥伴的支持。

亞馬遜網路服務公司物聯網技術負責人 Yasser Alsaied 指出，Arm 新邊緣 AI 運算平台為我們的客戶實現在 Armv9 技術上運行 AWS IoT Greengrass 的輕量裝置運作環境──Nucleus Lite，進而讓邊緣裝置以最低的記憶體需求高效率地運行。這兩項技術的無縫整合為開發人員提供了優化的解決方案，支援建購現代邊緣 AI 應用，例如精準農業中、智慧製造和自動駕駛的異常檢測。

全新 Cortex-A320 為下一代智慧物聯網裝置奠定安全基礎

Cortex-A320 充分發揮 Armv9 架構的優勢，例如針對 ML 效能的 SVE2。相較於前代產品 Cortex-A35，Cortex-A320 的 ML 效能提升十倍，純量效能提升了 30%。

該平台所採用的 Armv9.2 架構還為最小的 Cortex-A 裝置帶來了先進的安全功能，例如指標驗證（PAC）、分支目標識別（BTI）和記憶體標籤擴充（MTE）。這一功能相當重要，因為邊緣裝置通常在暴露的環境中運行並處理敏感性資料。

此外，Arm 將 Arm Kleidi 擴展到物聯網，這是一套針對 AI 框架開發人員的運算庫，其目標在於優化基於 Arm CPU 的 AI 和 ML 工作負載，無需開發人員額外操作。

KleidiAI 已整合到常見的物聯網 AI 框架中，如 Llama.cpp 和 ExecuTorch 或 LiteRT（透過 XNNPACK），加速了Meta Llama 3 和 Phi-3 等關鍵模型的效能。例如，在 Llama.cpp 上運行微軟的 Tiny Stories 資料集時，KleidiAI 為新的 Cortex-A320 帶來了高達 70% 的效能提升，協助 2,000 多萬名開發人員無縫整合領先的 AI 框架，簡化邊緣AI 開發流程。

新的邊緣 AI 運算平台確保了與高效能 Cortex-A 處理器在軟體層面的無縫相容。這種可擴展性使開發人員能夠打造可隨需求變化而靈活調整的解決方案。借助龐大的 Armv9 生態系，以及與 Linux 等功能豐富的作業系統和Zephyr 等即時操作系統的相容性，開發人員擁有了前所未有的靈活性。

展望未來，AI 趨勢將轉向邊緣，而全新 Arm 邊緣 AI 運算平台將成為新一波物聯網創新的催化劑。該平台能夠支援在基於代理人的 AI 應用上運行經過調校的大型語言模型（LLM）和小型語言模型（SLM），進而開闢全新類別的邊緣應用場景。在未來的場景中，智慧決策將更接近資料獲取源頭，這不僅能大幅減少延遲，還能有效提升隱私保護水準。

（首圖來源：科技新報）