追趕 GPT-4o，最強模型 Llama 3.1 405B 一夜封神，祖克柏：開源引領新時代

Meta 如期發表了 Llama 3.1 模型。簡單來說，最新發表的 Llama 3.1 405B 是 Meta 迄今為止最強大的模型，也是全球目前最強大的開源大模型，更是全球最強的大模型。

從今天起，不需要再爭論開源大模型與閉源大模型的孰優孰劣，因為 Llama 3.1 405B 用無可辯駁的實力證明路線之爭並不影響最終的技術實力。

先跟大家總結 Llama 3.1 模型的特性：

包含 8B、70B 和 405B 三個尺寸，最大上下文提升到了 128K，支援多語言，原始碼生成效能優秀，具有複雜的推理能力和工具使用技巧。
從基準測試結果來看，Llama 3.1 超過了 GPT-4 0125，與 GPT-4o、Claude 3.5 互有勝負。
提供開放 / 免費的模型權重和原始碼，許可證允許用戶進行微調，將模型蒸餾到其他形式，並支援在任何地方部署。
提供 Llama Stack API，方便整合使用，支援協調多個元件，包括呼叫外部工具。

附上模型下載位址：

本次發表的 Llama 3.1 共有 8B（80 億參數）、70B（700 億參數）和 405B （4,050 億參數）三個尺寸版本。

從基準測試結果來看，Llama 3.1 405B 全方位輾壓了 GPT-3.5 Turbo、大部分基準測試得分超過了 GPT-4 0125。

而面對 OpenAI 先前發表的最強閉源大模型 GPT-4o 和第一梯隊的 Claude 3.5 Sonnet，Llama 3.1 405B 依然有著一戰之力，甚至可以僅從紙面參數上說，Llama 3.1 405B 標誌著開源大模型首次追上了閉源大模型。

具體細分到基準測試結果，Llama 3.1 405B 在NIH/Multi-needle 基準測試的得分為 98.1，雖然比不上 GPT-4o，但也顯示其在處理複雜資訊的能力上堪稱完美。

（Source：Meta，下同）

Llama 3.1 405B 在 ZeroSCROLLS/QUALITY 基準測試的得分為 95.2，也意味著其具有強大整合大量文本資訊的能力，這些結果表明，LLaMA3.1 405B 模型在處理長文本方面出色，對於關注 LLM 在 RAG 方面性能的 AI 應用開發者來說，可謂相當友善。

特別關注的是，Human-Eval 主要是負責測試模型在理解和產生原始碼、解決抽象邏輯能力的基準測試，而 Llama 3.1 405B 在與其他大模型的比拚中也是稍占上風。

除了主菜 Llama 3.1 405B，雖為配菜的 Llama 3.1 8B 和 Llama 3.1 70B 也上演了一齣「以小勝大」的好戲。

就基準測試結果來看，Llama 3.1 8B 幾乎輾壓了 Gemma 2 9B 1T 以及 Mistral 7B Instruct，整體效能甚至比 Llama 3 8B 都有顯著提升。 Llama 3.1 70B 更是能越級戰勝 GPT-3.5 Turbo 以及性能表現優異的 Mixtral 8×7B 模型。

根據官方介紹，在這次發表的版本中，Llama 研究團隊在150 多個涵蓋多種語言的基準資料集上對模型效能進行評估，以及團隊也進行大量的人工評估。

最終得出的結論是：

我們的旗艦模型在多種任務上與頂尖的基礎模型，如 GPT-4、GPT-4o 和 Claude 3.5 Sonnet 等，具有競爭力。同時，我們的小型模型在與參數數量相近的封閉和開放模型相比時，也展現出了競爭力。

Llama 3.1 405B 是如何煉成的

那 Llama 3.1 405B 是怎麼訓練的呢？

根據官方部落格介紹，做為 Meta 迄今為止最大的模型，Llama 3.1 405B 使用了超過 15 兆個 token 進行訓練。

為了實現這種規模的訓練並在短時間內達到預期的效果，研究團隊也優化了整個訓練堆棧，在超過 16,000 個 H100 GPU 上進行訓練，這也是第一個在如此大規模上訓練的 Llama 模型。

團隊也在訓練過程中做了一些優化，重點是保持模型開發流程的可擴展性和簡單性：

選擇了僅進行少量調整的標準解碼器Transformer 模型架構，而不是混合專家模型，以最大限度地提高訓練穩定性。
採用一種迭代後訓練程序，每一輪都使用監督微調和直接偏好優化。這使得研究團隊能夠為每輪創建最高品質的合成數據，並提升每項功能的效能。
相較於舊版 Llama 模型，研究團隊改進了用於預訓練和後訓練的資料數量和質量，包括為預訓練資料開發更預處理和管理管道，為後訓練資料開發更嚴格的品質保證與過濾方法。

Meta 官方表示，在Scaling Law 的影響之下，新的旗艦模型在性能上超過了使用相同方法訓練的小型模型。