人工智慧（AI）深入日常工作與生活，AI 推論（Inference，即處理提示詞的過程）最佳化逐漸超越模型訓練，成為業界關注的焦點。然而，硬體與架構的壁壘往往導致企業面臨「供應商鎖定」（vendor lock-in）困境，為了解決痛點，備受矚目的法國 AI 新創 ZML 近日推出全新 LLM 推論伺服器「ZML/LLMD」，旨在打破晶片間的藩籬。
全新產品允許各種開源大語言模型（LLM）可以不同晶片運行，包括輝達（Nvidia）、超微（AMD）、Google 的 TPU、蘋果 Metal 及 Intel Arc。ZML 創辦人 Steeve Morin 表示，公司野心在打破硬體孤島，讓不同晶片處理 AI 任務時都能發揮最大可用速度，有時甚至更快。
AI 營運成本居高不下，能用各種晶片達到頂級效能，不僅是技術突破，更可能顛覆市場格局。ZML 希望為企業和雲端服務商提供更多選擇，能混合使用成本較低或能耗較低的晶片。Morin 表示：「這個想法是為了讓用戶重新獲得建立自己系統的主導權，並實現真正的效率提升，推動 AI 普及。」Morin 觀察到，軟體輔助有助新興 AI 晶片製造商（許多來自歐洲，如 Axelera、Fractile、Kalray、OLIX、Q.ANT、SiPearl、SpiNNcloud 和 VSORA）在國際舞台展露頭角。但比起晶片商所在地，他更看重 ZML 能與之合作完成「全球前所未有」嘗試。
這並不代表 Morin 看空輝達。部分原因在輝達供應量不夠，且 ZML 與輝達關係良好，輝達也在積極回應推論市場崛起。
AI 推論已成投資熱點，被譽為「推論淘金熱」。ZML 面臨不少競爭對手，包括近期估值達 130 億美元的 Baseten、開源專案 vLLM 團隊創立的 Inferact，以及 SGLang 背後的商業公司 RadixArk。雖然 vLLM 和 SGLang 與 LLMD 有部分競爭關係，但 Morin 對 ZML 的願景宏大，他透露甚至已進入「共同設計晶片」階段。他將 ZML 快速發展與後續計畫歸功於僅 20 人的精簡團隊。
ZML 總部位於巴黎，雖然規模精簡，但研發與擴張速度驚人，這得益於 Morin 成功的背景：曾任 Zenly 工程副總裁（2017 年被 Snapchat 以九位數美元收購），獲得與公司規模相稱的充足資金。Morin 已成功為 ZML 籌資達 2,000 萬美元，投資方有 Harry Stebbings 的 20VC、>commit、AALVC、Drysdale Ventures、Xavier Niel 的 Kima Ventures、Kindred Capital、LocalGlobe 和 Puzzle Ventures 等創投機構。
與 ZML 首個公開專案（2024 年推出今年 3 月更新）不同，此次 ZML/LLMD 並非開源軟體，但目前「免費」推出。Morin 解釋，這是為了先衡量用戶的使用習慣，並在最有效的地方商業化，避免因急功近利而阻礙初期成長。尚無法確定 ZML/LLMD 何時會轉為付費產品。
ZML 投資人陣容也極具分量，除了獲圖靈獎得主現職 AMI Labs 的楊立昆背書，還包括 Dagger 與 Docker 創辦人 Solomon Hykes，以及 Hugging Face 創辦人 Clément Delangue 和 Julien Chaumond。這再次證明歐洲 AI 新創完全能在本土生根茁壯。Morin 驕傲表示：「除了巴黎，我無法在任何地方創立 ZML。」
（首圖來源：ZML）
科技新報粉絲團
加入好友
訂閱免費電子報
