
OpenAI 推出首款開源推理思維鏈(chain-of-thought,簡稱 CoT)模型「gpt-oss-20b」,此模型可直接在搭載 Snapdragon 旗艦處理器的裝置上運行。高通指出,這是一次重大進展,過去 OpenAI 先進模型僅限於雲端運行,這次首度讓模型可在裝置端進行推理。
高通已取得該模型的提前存取權,並與高通 AI 疊層(Qualcomm AI Stack)和 AI 引擎進行整合測試。測試結果相當出色。完整的思維鏈推理能完全在裝置上運行,無須依賴雲端。此模型不僅快速、具隱私性,也為在手機上的個人化智慧代理體驗開創新的可能。
高通指出,開發者將可在發佈當日,透過 Hugging Face 和 Ollama 存取 gpt-oss-20b,近期也將在 Qualcomm AI Hub 公布更多部署細節。與Ollama整合,也代表像是網路搜尋、渦輪模式(Turbo Mode)等開箱即用功能也已經整合完成。
高通認為,未來幾年,隨著行動裝置的記憶體容量持續成長、軟體堆疊愈加高效,裝置端 AI 的能力將快速提升,AI 助理也將會無所不在、個人化,並且能在裝置端運行。
(首圖來源:科技新報)