馬斯克信守承諾,xAI 開源 Grok-1 模型

作者 | 發布日期 2024 年 03 月 18 日 14:44 | 分類 AI 人工智慧 line share follow us in feedly line share
馬斯克信守承諾,xAI 開源 Grok-1 模型


馬斯克(Elon Musk)擁有的 AI 新創 xAI 宣布開源 Grok-1 模型,讓研究人員和開發者能以既有基礎進行開發,也將影響 xAI 未來更新聊天機器人 Grok 的方式。

此一開源版本包含 3,140 億參數混合專家模型(Mixture of Experts model,MoE)Grok-1 的基本模型權重和網路架構。xAI 透過官方部落格文章指出,該版本是採去年 10 月 Grok-1 預訓練階段的原始基礎模型檢查點,並未針對任何特定應用(如對話)進行微調。

xAI 是在 Apache 2.0 授權條款下對外開源 Grok-1,允許商業用途,但不包含用於訓練模型的資料或與 X 連接以即時取得的資料。Grok 背後由 Grok-1 模型支援,用於編寫程式碼、創意寫作以及回答問題。

業界雖然有許多完全開源的 AI 基礎模型,如 Mistral AI 和 Falcon,但最廣泛使用的模型並未對外開源,或在有條件開放使用。例如 Meta 的 Llama 2 雖然免費提供研究成果,但未滿足開放原始碼協會(Open Source Initiative,OSI)的要求,讓每日用戶超過 7 億的開發者必須繳納授權費,而且不允許開發者在 Llama 2 基礎上進行迭代。

馬斯克收購 X(前身為 Twitter)後,其演算法背後的程式碼最終對外公開,他更批評那些不開源 AI 技術的公司,包括由他和奧特曼(Sam Altman)、布洛克曼(Greg Brockman)等人共同創立的 OpenAI。日前他對 OpenAI 提起訴訟,認為這家新創現在只想藉由 AI 牟取利潤而非促進人類福祉,背離公司最初使命。

(首圖來源:xAI