高通 MWC 發表模型庫 AI Hub,大秀手機、PC LMM 生成技術

作者 | 發布日期 2024 年 02 月 26 日 15:56 | 分類 AI 人工智慧 , 手機 line share follow us in feedly line share
高通 MWC 發表模型庫 AI Hub,大秀手機、PC LMM 生成技術


高通在巴塞隆納世界行動通訊大會(MWC Barcelona)發表最新的裝置上 AI、智慧運算和各種無線連接產品,從全新 Qualcomm AI Hub 到一系列支援 AI 的商用裝置,如新一代 PC、智慧型手機、軟體定義汽車、XR裝置、物聯網等領域,實現大規模裝置上 AI 商業化,使智慧運算無處不在。

Qualcomm AI Hub

首先,高通推出 Qualcomm AI Hub 提供全新模型庫,可在搭載 Snapdragon 和高通平台的裝置上實現無縫部署。這個模型庫提供包括 Whisper、ControlNet、Stable Diffusion 和 Baichuan 7B 在內、超過 75 個熱門 AI 模型,提供開發人員使用。

開發人員可將這些模型無縫整合至其應用程式中,縮短上市時間,並充分發揮實現裝置上AI所帶來的優勢,包括即時性、可靠性、隱私性、個人化和節省成本等。高通指出,透過高通 AI 引擎(NPU、CPU 和 GPU)中所有核心的硬體加速,能使推論速度快 4 倍。

目前這些模型已經在 Qualcomm AI Hub、GitHub 和Hugging Face 上提供。開發人員只需透過在搭載高通平台的雲端託管裝置上的幾行程式碼,就能自行運行這些模型,Qualcomm AI Hub 也會持續導入新模型加入模型庫,並即將支援其他平台和作業系統。

Qualcomm AI Research 用於 Android 手機和 Windows PC

Qualcomm AI Research 也首次在 Android 智慧型手機上運行,展現大型語言和視覺助理(LLaVA)模型功能,這是一款具超過 70 億個參數的大型多模態模型(LMM),可接受文字、圖像等多種類型資料輸入,並能與 AI 助理生成關於圖像的多輪對話。

Qualcomm AI Research 將首次展示在 Android 手機上的低秩調整(LoRA)。使用 LoRA 運行 Stable Diffusion 讓使用者可以根據個人或藝術偏好創造出高品質的客製化圖像。

LoRA 可減少 AI 模型的可訓練參數數量,實現更優秀的效率、可擴充性,還可運用在大型語言模型等各種客製化的 AI 模型,打造量身定製的個人助理、改善語言翻譯等更多應用。

在 Windows PC 部分,Qualcomm AI Research 也會運作超過 70 億個參數的 LMM,此模型可以接受文字和音訊輸入(如音樂、交通聲音等),然後生成有關此段音訊的多輪對話。

AI 與手機、PC、車用、IoT 結合

此外,高通也會在即將推出的智慧型手機、Windows PC、汽車和穿戴式裝置中的生成式 AI 功能。首先是搭載 Snapdragon 8 Gen 3 行動平台的 AI 智慧手機,包括榮耀 Magic6 Pro、OPPO X7 Ultra,以及小米14 Pro,大秀 AI 生成的圖像擴張(小米)、AI驅動的影片創作與日曆創建(榮耀)、和圖像物件消除(OPPO)。

PC 部分則展示 Snapdragon X Elite 及其所配備每秒 45 兆次的 NPU,透過熱門的免費圖像編輯器 GIMP 和 Stable Diffusion 外掛程式,展示只要以文字輸入想要的圖像,生成式 AI 就能在 7 秒內創造出圖像。

汽車部分,高通也透過 Snapdragon 數位底盤平台展示傳統和生成式 AI 能力,為駕駛和乘客提供更強大、更有效、更具隱私、更安全和個人化的體驗;消費者 IoT 將展示在 Snapdragon 平台運行的 Humane 的 AI Pin,讓使用者能夠將 AI 以對話式、無螢幕的全新型態隨身攜帶到任何地方。

(首圖來源:高通)

延伸閱讀: