高通助攻 Meta Llama 2 AI 模型，可於沒連網地區、飛航模式運行

高通今日宣布和 Meta 攜手，致力於最佳化 Meta的 Llama 2 大型語言模型直接在裝置上的執行，不再只能依賴雲端服務運作。

高通強調，與僅使用基於雲端的 AI 部署和服務相比，裝置 AI 部署能協助開發人員以顯著降低的成本，提升使用者隱私、處理安全偏好、強化應用程式可靠性並實現個人化體驗。

高通計畫實現基於 Llama 2 裝置 AI 部署，以支援打造令人期待的全新 AI 應用，讓客戶、合作夥伴和開發人員能建構如虛擬智慧助理、生產力應用程式、內容創造工具、娛樂等使用案例。這些搭載 Snapdragon 的全新裝置 AI 體驗，可在沒有連網的地區、甚至是飛航模式運行。

此外，高通計畫明年開始在搭載 Snapdragon 平台的裝置支援基於 Llama 2 的 AI 部署，包括旗艦智慧手機和 PC，讓開發人員即日起可使用高通 AI 疊層，針對裝置 AI 進行應用最佳化。高通 AI 疊層是一套可在 Snapdragon 平台更有效處理 AI 的專用工具，即使輕薄小巧裝置也支援裝置 AI。

高通資深副總裁暨技術、規劃和邊緣解決方案業務總經理 Durga Malladi 表示，生成式 AI 導入裝置，將為各種規模的開發人員降低入門的門檻。為了將生成式 AI有效地規模化擴展至主流市場，AI 需要同時能在雲端與如智慧型手機、筆記型電腦、汽車和物聯網裝置等邊緣裝置運行。

（首圖來源：科技新報）