OpenAI 緊張？對手 Mistral 開源模型效能直逼 GPT-4

法國新創商 Mistral 近來外洩的開源 AI 模型剛剛獲得高層認證，而根據網友測試，其效能直逼 OpenAI 目前最強大的大型語言模型（LLM）「GPT-4」。

VentureBeat 1月31日報導，1月28日左右，一位代號「Miqu Dev」的網友在開源AI模型與編碼分享平台Hugging Face張貼了一組檔案，組合起來後便成為全新LLM「miqu-1-70b」。該名網友並提到，這款LLM的提示模板（Prompt format，指使用者與之互動的方式）跟Mistral一樣。

有人隨即透過社交平台X分享了上述訊息。網友N8 Programs 1月31日在X指出，不管「Miqu」是甚麼，這款LLM在情感智慧評分標竿軟體「EQ-Bench」的跑分高達83.5分，擊敗世界上幾乎每一款LLM，僅落後GPT-4。

Whatever Miqu is, it has some sort of special sauce. It gets an 83.5 on EQ-Bench (evaluated locally), surpassing *every other LLM in the world except GPT-4*. EQ-Bench has a 0.97 correlation w/ MMLU, and a 0.94 correlation w/ Arena Elo. It *beats* Mistral Medium – at Q4_K_M. I… pic.twitter.com/0gOOPjxjPD

— N8 Programs (@N8Programs) January 30, 2024

機器學習（ML）研究人員也注意到Miqu。摩根大通（JP Morgan & Chase）機器學習科學家Maxime Labonne 1月31日透過LinkedIn網站指出，Miqu是不是「MIstral QUantized」的縮寫，目前還無法確定，但Miqu已快速成為最佳的開源LLM之一。調查雖仍在進行中，但估計大家很快就能看到表現超越GPT-4的Miqu微調版本。

在機器學習界，Quantization（中文稱做量化）是一種以短數字序列取代特定長數字序列的技術，可讓AI模型在功能較不強大的電腦、晶片上執行。

消息延燒幾天後，Mistral執行長Arthur Mensch終於在2月1日透過X證實，「提前獲得存取權的客戶中，一名過度熱情的員工外洩了我們訓練並公開發送過的舊模型，且是經過量化（並打上水印）的版本。」

An over-enthusiastic employee of one of our early access customers leaked a quantised (and watermarked) version of an old model we trained and distributed quite openly.

To quickly start working with a few selected customers, we retrained this model from Llama 2 the minute we got…

— Arthur Mensch (@arthurmensch) January 31, 2024

Mensch說，「為了趕快跟特定客戶展開合作，我們在取得整個叢集後立刻重新訓練了這款源自Llama 2的模型──預訓練（pretraining）在Mistral 7B釋出當天就已完成。」他還說，自此之後公司進展良好，敬請期待！（stay tuned!）

VentureBeat報導指出，Mensch說「敬請期待」，似乎暗示Mistral訓練的「Miqu」模型不但效能已經逼近GPT-4，現在還可能追平、甚至超越GPT-4。

這對整個生成式AI及電腦科學界而言，將是關鍵的分水嶺。GPT-4自2023年3月釋出以來，就一直是全球最強大、效能最高的LLM，連Google目前的「Gemini」模型都比不上。一個效能媲美GPT-4的開源AI模型（理論上可免費使用），勢必會對OpenAI造成極大競爭壓力，尤其是在愈來愈多企業都開始檢視開源AI模型的情況下。

（本文由 MoneyDJ新聞 授權轉載；首圖來源：pixabay）

延伸閱讀：

• AI 獨角獸 Mistral：輝達成策略夥伴，美國用量高