![Meta 推出 Llama 3.1 模型挑戰 OpenAI、Anthropic,開源 AI 引業界討論](https://img.technews.tw/wp-content/uploads/2024/07/24114701/Meta-Introducing-Llama-3.1-1-800x450.jpg)
Meta 推出全新模型 Llama 3.1 405B 引發熱議,這可能是第一次任何人都能免費下載 GPT-4 等級的大型語言模型,在特定規格硬體上運行。
Meta 23 日發表新模型 Llama 3.1 405B(4,050 億參數),以及經過改善的 Llama 3.1 70B(700 億參數)和 Llama 3.1 8B(80 億參數)。Meta 執行長祖克柏(Mark Zuckerberg)將 Llama 3.1 405B 稱為 Meta 第一個先進「開源」AI 模型,定位在業界先進模型之列,媲美 OpenAI GPT-4o、Claude 3.5 Sonnet 及 Google Gemini 1.5 Pro。
Meta 使用超過 16,000 個 NVIDIA H100 GPU,並從網路上抓取超過 15 兆 token 的訓練資料(由 Llama 2 進行解析、過濾及註釋)來訓練 Llama 3.1 405B。
Meta 公布的圖表顯示,Llama 3.1 405B 在 MMLU、GSM8K 及 HumanEval 等基準測試中的性能非常接近 GPT-4、GPT-4o 及 Claude 3.5 Sonnet。
▲ Llama 3.1 405B 基準測試結果與其他 AI 模型進行比較。
相對於封閉模型,祖克柏認為 Llama 3.1 405B 不僅具有更好的成本效益,具開放性其成為微調和提煉較小模型的最佳選擇。開發者可在自己的基礎設施以 Llama 3.1 405B 運行推理,在面對使用者的推理任務、甚至是離線任務,成本約是使用 GPT-4o 等封閉模型的一半。
Meta 的「開源」模型
相較於前幾款,Meta 稱 Llama 3.1 405B 是一款「開源」模型。開源將確保世界各地的人能夠獲得 AI 的好處和機會,權力不會集中在少數人手中,而且技術能夠均勻部署、安全跨越整個社會。
祖克柏強調,Llama 需要發展成為一個包含工具、效率改進、晶片最佳化及整合其他的完整生態系,如果 Meta 是唯一一家使用 Llama 的公司,整個生態系統將無法順利擴張。與此同時,出售 AI 模型的存取權限並非 Meta 獲利的商業模式之一。
不過,業界對於祖克柏所說的模型「開源」抱持懷疑態度,認為 Llama 3.1 405B 只是「開放權重」的模型,這意味著任何人都能下載經過訓練的神經網路檔案加以運行,微調成自己的模型;開源應有更嚴謹的定義,認為祖克柏濫用「開源」二字。
▲ 祖克柏發表長文談開源 AI,期望 Llama 成為產業標準。
自從 Meta 4 月透露正在訓練一款超過 4,000 億參數的新模型,外界一直期待 Llama 3 新產品的到來。這次不僅是 Llama 3 系列參數最大的新成員,並且對外開放下載至自己的訓練硬體加以運行,進一步挑戰 OpenAI、Anthropic 等封閉 AI 模型的開發商。
- Zuckerberg Aims to Rival OpenAI, Google With New Llama AI Model
- The first GPT-4-class AI model anyone can download has arrived: Llama 405B
- Meta unleashes its most powerful AI model, Llama 3.1, with 405B parameters
(首圖來源:AI at Meta)