獲輝達、微軟策略投資,信奉開源!法國獨角獸 Mistral AI 有何來頭?

作者 | 發布日期 2024 年 03 月 08 日 16:11 | 分類 AI 人工智慧 , 新創 line share follow us in feedly line share
獲輝達、微軟策略投資,信奉開源!法國獨角獸 Mistral AI 有何來頭?


除了開發 ChatGPT、受到微軟大力支持的 OpenAI,AI 產業還有另一歐洲新星熠熠生輝,那是來自法國的 Mistral AI。

ChatGPT 掀起全球 AI 熱潮後,AI 新創也如雨後春筍般迅速發展。總部位於巴黎、成立還不到 1 年的 Mistral AI,打造能與 OpenAI、Anthropic 等公司匹敵的開源 AI 模型,並在短時間內募得大筆資金,躍升歐洲獨角獸之一,獲得市場高度關注。

技術開發者起家,短時間變身獨角獸

Mistral AI 去年 5 月註冊成立公司,創始團隊都曾參與大型語言模型開發,共同創辦人暨執行長 Arthur Mensch 曾任 Google DeepMind 研究員,是 Flamingo、Chinchilla 模型核心貢獻者;另兩名創辦人 Timothée Lacroix(Mistral AI 技術長)和 Guillaume Lample(Mistral AI 首席科學家)曾是 Meta 巴黎 AI 實驗室研究員,對模型推理、預訓練和模型嵌入有深厚研究,發表過多篇重要論文,更是 Llama 和 Llama 2 的核心貢獻者。

他們三人有機會在各自領域累積深厚的技術專業知識,同時待過全球最具規模的 AI 實驗室,開發最先進 AI 和機器學習應用,也為 Mistral AI 鋪路。

Mistral AI 成立四週還沒有產品,團隊也只有六人,憑著七頁簡報拿到 1.13 億美元種子輪融資,是歐洲有史以來最大筆種子輪,因而聲名大噪。這輪由創投公司 Lightspeed Venture Partners 領投,還有法國、德國、義大利、比利時、英國投資方的資金挹注,公司估值來到 2.6 億美元。

「我們可以看到這項技術去年開始真正加速」,Arthur Mensch 獲得種子輪融資受訪表示,是指 OpenAI 藉 GPT 模型取得市場,而 Mistral AI 正要起步。

之後不到六個月,Mistral AI 完成 4.15 億美元 A 輪融資,這次由創投 Andreessen Horowitz(a16z)領投,公司估值達到 20 億美元,成為新創獨角獸。除此之外,NVIDIA 和微軟兩大巨頭先後成為投資人和合作夥伴,Mistral AI 可以取得 NVIDIA 最新技術,也能透過 Microsoft Azure 提供模型和服務給更多客戶使用。

▲ Mistral AI 三名創辦人,左起 Guillaume Lample、Arthur Mensch、Timothée Lacroix。(Source:TechCrunch

Mistral AI 堅持走開源路線

Mistral AI 去年 9 月推出第一個 7B 參數模型「Mistral 7B」,比計劃發表時程快了 3 個月。Mistral 7B 在所有基準測試中均優於 Llama 2 13B,編寫程式碼方面也接近 CodeLlama 7B 性能。到了 12 月推出「Mixtral 8x7B」,是採具有開放權重的 SMoE(Sparse Mixture of Experts)模型,能夠處理 32K token 上下文,大多數基準測試表現優於 Llama 2 70B 和 GPT 3.5。

值得一提的是,Mistral AI 採取 MoE(Mixture of Experts Models,混合專家模型)的 Transformer 模型在開源 AI 社群引起討論。MoE 是把複雜的分析預測任務分割成更小、容易處理的子任務,每個子任務由符合特定領域的專家加以處理,最終產生結果。如 Mixtral 8x7B 與具有相同參數量的模型相比,推理過程中只使用其中一部分,於是能有更快的推理速度。

Mistral AI 如原先承諾,在今年 2 月底發表新一代大型語言模型「Mistral Large」以及聊天機器人「Le Chat」。根據多項基準測試下,Mistral Large 僅次於 GPT-4、排名第二,同時提供大眾透過 Le Chat 這個對話入口體驗 Mistral Large 模型。

Mistral AI 商業模式看起來越來越像 OpenAI,同樣透過計量付費的 API 來提供 Mistral Large。但與 OpenAI 最大不同之處在於,Mistral AI 成立之初即堅持走開源路線。

「我們認為開放的生成式 AI 方法是必要的,在塑造我們未來技術,社群支持的模型開發是對抗審查和偏見最為可靠的途徑」,Arthur Mensch 認為,模型開源下,開發者可以完全控制為其應用程式提供動力的 AI 引擎,調整模型大小、延遲並且控制成本,以適應特定任務。

Mistral AI 使命是引領開源模型的革命,現在藉 Mistral Large 模型更能為客戶提供 AI 運算動力,這家新創後勢成長不容小覷。

(首圖來源:Mistral AI