Gogole 下一代 Gemini 1.5 模型發表，上下文長度可達 1,000K token

Google 農曆年前為 Bard 和 Gemini 產品帶來重大更新，包括功能最強大的 Gemini Ultra 1.0 模型，並從 Gemini Advanced 開始導入，兩週後公開下一代產品──Gemini 1.5。

Gemini 1.5 在上下文理解方面有所突破，上下文長度可達 1,000K token，能夠處理資料量更大的查詢並能檢視更多資訊，這對企業客戶而言非常有用。Google 成為第一家將這種上下文長度投入商用服務的公司，領先 Anthropic 所推出的 Claude 2.1。

Google 新推出 Gemini 1.5 早期測試的 Gemini 1.5 Pro，是一種中型規模的多模態模型。Gemini 1.5 Pro 在用於開發大型語言模型的基準測試有 87% 表現優於 Gemini 1.0 Pro，Google 更稱其性能水準與 Gemini Ultra 1.0 相似。此外，藉由全新 Mixture-of-Experts（MoE）架構使 Gemini 1.5 訓練和服務性能更高，這意味著當人們送出提示文字時，只運行 Gemini 1.5 Pro 一部分，而非整個模型加以處理。

Gemini 1.5 Pro 先配備標準的 128K token，未來最高可達 1,000K token，處理大量資訊相當於是 1 小時影片、11 小時音訊、超過 3 萬行程式碼或 70 萬個單字的程式碼資料庫，比其他模型如 Gemini Pro 是 32K token、OpenAI GPT-4 是 128K token、Claude 2.1 是 200K token。皮蔡更透露，Google 研究人員甚至成功測試高達 10,000K token 的版本。

▲ Gemini 1.5 上下文長度可達 1,000K token 領先業界。

Google 正在積極進行 Gemini 產品最佳化，以改善延遲、減少運算要求並強化用戶體驗，Gemini 1.0 Pro 和 Gemini 1.0 Ultra 現已透過 Vertex AI 平台正式推出，而 Gemini 1.5 Pro 目前只能透過 Vertex AI 和 AI Studio 提供開發者和企業客戶預覽，Gemini 1.5 版本最終將取代 Gemini 1.0。

Here’s a fun demo of long-context understanding. First, we asked the model to find 3 amusing moments in the 402-page pdf transcription of the iconic Apollo 11 mission. Then we uploaded a simple drawing of a boot and it identified the moment we had in mind: Neil’s one small step! pic.twitter.com/mx8id3cqSi

— Demis Hassabis (@demishassabis) February 15, 2024