馬斯克旗下 xAI 稍早發表 Grok-2 大型語言模型聊天機器人,推出後持續進步,xAI 兩位開發者短短三天就重寫推理程式碼堆棧,使 Grok-2 和 Grok-2 mini 資訊分析和輸出速度大幅提升。
xAI 開發者 Igor Babuschkin 於 X 表示,Grok-2 mini 速度經改良後提高一倍。團隊用 SGLang 重寫推理堆棧,不只提升速度,還略微提升模型準確性。SGLang 是開源高效系統,執行複雜語言模型程式,性能比現有系統高達 6.4 倍。
Grok 2 mini is now 2x faster than it was yesterday. In the last three days @lm_zheng and @MalekiSaeed rewrote our inference stack from scratch using SGLang (https://t.co/M1M8BlXosH). This has also allowed us to serve the big Grok 2 model, which requires multi-host inference, at a… pic.twitter.com/G9iXTV8o0z
— ibab (@ibab) August 23, 2024
第三方 Lmsys Chatbot Arena 排行榜,Grok-2 以 1,293 分位居第二,與 Google Gemini-1.5 Pro 並列,僅次 OpenAI 最新版 ChatGPT-4。Grok-2 mini 也躍升至第五位,得分為 1,268 分。Grok-2 數學任務排第一,硬提示、編碼和指令跟隨等多類別也表現出色。xAI 團隊表示,將繼續改進 Grok-2 mini 處理速度,以滿足用戶對高性能低運算成本的需求。
(本文由 Unwire Pro 授權轉載;首圖來源:xAI)