Google 前研究員：文字 LLM 已遇瓶頸，要教 AI 用「視覺」直接思考

Google DeepMind 前研究員 Andrew Dai 近日創立新公司 Elorian AI，指出目前主流的大型語言模型（LLM）已遇上瓶頸。他認為未來 AI 應直接以圖像思考，而非先將圖像轉化為文字再做推理。這套「視覺推理」技術方向已獲得 5,500 萬美元資金，公司估值達 3 億美元。

目前 AI 閱讀圖像實質只是「讀字」

目前如 Google Gemini 這類多模態模型處理圖像時，實際做法是利用文字詳細描述該幅圖像，並將這些文字按意思排列，形成龐大內部「文字地圖」。模型隨後透過推理這些文字，得出對圖像的觀察、判斷甚至建議。

例如若畫面是摩托車引擎設計圖，多模態 LLM 或會觀察到當引擎發熱時，鋁合金活塞頂會膨脹，導致與汽缸壁之間的間隙縮小。然而這種理解終歸靠文字轉化而成，並非真正「看」得懂。

Elorian AI 則期望反其道而行。團隊建構的視覺推理模型會直接就圖像本身「思考」，不會先轉換為文字地圖，而是形成細緻的 3D 內部地圖，模擬人類想像事物的方式。由於模型具備對物理定律的理解，因此可以做出更細緻、更準確的觀察。

Andrew Dai 如何看待目前 LLM 的瓶頸？

Andrew Dai 認為視覺圖像與語言對模型智慧同樣重要，甚至更為關鍵。他指出，前沿語言模型已觸及天花板，因為模型仍無法有效推理物理世界，用他的說法就是「極度不穩定」。他舉例指出，若一個模型連桌上有多少個杯子也無法數清、無法判斷空間關係，不論寫作或編程能力多強，都稱不上具備通用智慧。

這個說法與 Bloomberg 之前的報導吻合。Andrew Dai 認為大型 AI 實驗室的模型處理視覺提示時，智力只相當於 3 歲幼童。Elorian AI 由他與前 Apple 機器學習研究員楊寅飛共同創立，團隊開發的模型會令視覺資料在架構內與語言 token 享有同等地位。

AI only has pre-schooler level capabilities for visual tasks.

“The frontier models—the best of them—still reason around the age of a preschooler, and any elementary school kid in that benchmark was able to beat all the frontier models on these visual tasks."

“These are tasks… pic.twitter.com/kIe6Ve4zDb

— The Information (@theinformation) July 2, 2026

Elorian AI 背景與資金來源

Elorian AI 於 2026 年 4 月正式公開亮相。公司獲得 Striker Ventures、Menlo Ventures 與 Altimeter 共 5,500 萬美元投資，49 Palms 及其他投資者包括資深 AI 研究員 Jeff Dean 也有參與。另有報導指，公司已按 3 億美元估值完成融資，投資方也包括 Nvidia。

We’re launching our new multimodal reasoning lab @ElorianAI out of stealth today with $55M backed by @strikervp, @MenloVentures and @AltimeterCap with participation from @nvidia, 49 Palms and others including @JeffDean. Find out more here https://t.co/h4egDb2rww. https://t.co/S0lcBsHdc1

— Elorian AI (@ElorianAI) April 9, 2026

團隊方面，Elorian 於 2025 年由曾在 DeepMind 帶領視覺建模及數據研究的研究員創立，目前團隊規模為 11 至 50 人。公司目標是在 12 個月內推出首個公開發售模型，並同步進行客戶洽談。

值得留意，Elorian AI 並非唯一走這條路線的新創企業。Google 前學者李飛飛創立的 World Labs 也相信 AI 需要發展空間及物理世界理解能力，目前正建構一種可處理感官資料並發展出物理世界理解的「世界模型」，可見「視覺推理」正逐漸成為業界下一個兵家必爭之地。

文字 AI 見頂，視覺 AI 成新戰場？

過去數年 AI 業界幾乎全力押注文字型 LLM，然而 Andrew Dai 這類資深研究員相信單靠文字已走到盡頭，下一步突破在於教導機器直接「看懂」這個世界。Elorian AI 現階段仍未公開實際產品或基準測試成績，未來一年能否交出成績表，將是業界驗證這套理論的重要指標，同時也值得留意 World Labs 等競爭對手的進展。