可在 RTX GPU 運行，輝達、Mistral AI 攜手開發 Mistral NeMo 模型

AI 晶片霸主 NVIDIA（輝達）與其投資的法國 AI 新創公司 Mistral AI 合作開發新模型，對 AI 產業的企業客戶解決方案帶來重大轉變。

Mistral AI 與 NVIDIA 18 日發表最新語言模型 Mistral NeMo，擁有 120 億參數、支援 128K token 上下文長度，透過 NVIDIA DGX Cloud AI 平台進行訓練。開發者運用 Mistral NeMo 能夠輕鬆自訂和部署 AI 聊天機器人，開發多語言任務、編碼和摘要的企業應用程式。

「我們推出一款與 Mistral AI 共同訓練的模型，這是一款 120 億參數的模型，我們在 Apache 2.0 授權條款下啟動它。」NVIDIA 應用深度學習研究部門主管 Bryan Catanzaro 告訴外媒 VentureBeat，「我們對這款模型在許多任務的準確性感到非常興奮」。

「它更容易運行，商業模式可以不同，因為人們可在家中電腦執行它。事實上，這款模型可在許多人擁有的 RTX GPU 上運行」，Bryan Catanzaro 表示，較小的模型更容易使用。

對處理冗長文件、複雜分析或編碼任務的企業而言，Mistral NeMo 這種可擴展的上下文長度特別有價值。

儘管人們許多注意力集中在像是 GPT-4o 這類擁有數千億參數的大型語言模型，但對可在商用硬體運行的模型越來越感興趣。這種轉變來自人們對資料隱私的擔憂、對更低延遲的需求、以及渴望更具成本效益的 AI 解決方案。

Very happy to release our new small model, Mistral NeMo, a 12B model trained in collaboration with @nvidia. Mistral NeMo supports a context window of 128k tokens, comes with a FP8 aligned checkpoint, and performs extremely well on all benchmarks. Check it out!… pic.twitter.com/BokevEFrIr

— Guillaume Lample @ ICLR 2024 (@GuillaumeLample) July 18, 2024