xAI 工程師花三天就改寫 Grok-2 物理堆棧，速度大幅提升

馬斯克旗下 xAI 稍早發表 Grok-2 大型語言模型聊天機器人，推出後持續進步，xAI 兩位開發者短短三天就重寫推理程式碼堆棧，使 Grok-2 和 Grok-2 mini 資訊分析和輸出速度大幅提升。

xAI 開發者 Igor Babuschkin 於 X 表示，Grok-2 mini 速度經改良後提高一倍。團隊用 SGLang 重寫推理堆棧，不只提升速度，還略微提升模型準確性。SGLang 是開源高效系統，執行複雜語言模型程式，性能比現有系統高達 6.4 倍。

Grok 2 mini is now 2x faster than it was yesterday. In the last three days @lm_zheng and @MalekiSaeed rewrote our inference stack from scratch using SGLang (https://t.co/M1M8BlXosH). This has also allowed us to serve the big Grok 2 model, which requires multi-host inference, at a… pic.twitter.com/G9iXTV8o0z

— ibab (@ibab) August 23, 2024

第三方 Lmsys Chatbot Arena 排行榜，Grok-2 以 1,293 分位居第二，與 Google Gemini-1.5 Pro 並列，僅次 OpenAI 最新版 ChatGPT-4。Grok-2 mini 也躍升至第五位，得分為 1,268 分。Grok-2 數學任務排第一，硬提示、編碼和指令跟隨等多類別也表現出色。xAI 團隊表示，將繼續改進 Grok-2 mini 處理速度，以滿足用戶對高性能低運算成本的需求。