百度文心大模型 3.5 版,評測得分超越 ChatGPT

作者 | 發布日期 2023 年 06 月 21 日 16:20 | 分類 AI 人工智慧 line share follow us in feedly line share
百度文心大模型 3.5 版,評測得分超越 ChatGPT


新浪財經報導,據內部人士透露,百度文心大模型 3.5 版本已內測可用,在公開測試集上進行的基礎模型少樣本(Few-Shot)評測顯示,文心大模型 3.5(ERNIE 3.5)在多個測試集的得分已超過 ChatGPT。

為驗證主流大模型的各項綜合能力,評測在AGIEval、C-Eval和MMLU三個權威評測基準上進行綜合評估。除文心大模型3.5,評測的模型還有ChatGPT、GPT-4、ChatGLM、LLaMa系列大模型,評測可看出大模型在能力上的優劣,同時對模型的迭代發展也有著很強的指導作用。

從評測得分來看,文心大模型3.5版中文能力突出,甚至有超出GPT-4的表現;綜合能力稍遜於GPT-4,但已經在評測中超過了ChatGPT,遠遠領先於其他開源大模型。

中國工程院院士鄔賀銓曾表示,中國企業在獲得中文語料和對中國文化的理解方面比外國企業有天然的優勢,中國製造業類別最全,具有面向實體產業訓練產業AIGC的有利條件,在算力方面中國已具有較好的基礎;以百度文心大模型3.5版為例,與3.0版本相比,透過各項演算法和數據的優化,尤其是百度首創的知識增強和檢索增強技術的優化,新版本文心大模型在各項能力上均有明顯提升。

據瞭解,百度人工智慧四層架構的端到端優化,尤其是框架和模型層的協同優化,讓文心大模型訓練速度、模型效果加速提升。

(本文由 MoneyDJ新聞 授權轉載;首圖來源:影片截圖)