
隨著人工智慧(AI)變得越來越聰明,本以為成本會逐漸便宜,但事實卻完全不是這樣。據《華爾街日報》報導,使用開發軟體、分析文件等應用的開發人員發現,這些帳單竟然比預期高,而且還在不斷上升。
事實上,當最新的 AI 模型進行更深度的研究、AI 代理和生成時,會花費更多「思考」。雖然 AI 單位(即 Token)的價格持續下降,但完成許多任務所需的 Token 數量卻飆升。
T3 Chat 執行長 Theo Browne 認為,「這場『誰能做出最聰明東西』的軍備競賽,變成『誰能做出最昂貴東西』的競賽」;另一位 Epoch AI 研究員、前 AI 工程師 Ben Cottier 指出,推理成本確實每年以 10 倍速度下降。
然而,真正推高許多 AI 應用成本的是「推理」(AI Reasoning)。許多新型 AI 會重複查詢以雙重檢查答案、到網路蒐集額外資訊,甚至編寫小程式來進行運算,最後回傳的答案可能只是一句話;AI 代理則會根據用戶指令,執行一連串動作,可能持續數分鐘甚至數小時。
因此,最新型 AI 的回應更精準,但同時也花費更多 Token。當問題很難時,它們甚至會不斷嘗試直到找到答案,或是耗盡資源而失敗。報導也分享不同任務所需的 Token 約略範圍,如基本聊天問答要 50~500 Tokens、短文件摘要 200~6,000 Tokens、基礎程式碼輔助需要 500~2,000 Tokens。至於撰寫複雜程式碼、分析法律文件以及進行多步驟代理流程則更麻煩,需要上萬甚至是百萬的 Tokens。
生產力軟體公司 Notion 執行長 Ivan Zhao 表示,兩年前公司毛利率約 90%,這在雲端軟體業界算正常,如今約有10 個百分點的利潤流向支撐 Notion 最新功能的 AI 公司。
對使用 AI 來寫程式的公司來說,挑戰甚至更嚴峻。這類「Vibe coding」新創(如 Cursor 與 Replit)近期都調整價格方案。在新計費方案下,部分 Cursor 用戶發現短短幾天就用光一個月的額度,導致有人抱怨或轉向競爭對手。
創投公司 Andreessen Horowitz 合夥人 Martin Casado 認為,AI 產業必然會出現整合,熱潮終將降溫。但一些 AI 新創為了快速擴張用戶基礎,選擇短期犧牲利潤,這不代表它們岌岌可危。
至於開發先進 AI 模型的大公司,至少目前仍能負擔每年超過 1,000 億美元的基礎設施支出,用來訓練和提供 AI 服務。這些公司包括資金雄厚的新創 OpenAI、Anthropic,以及能靠其他業務獲利來支撐 AI 投資的 Google 與Meta。
然而,要讓這些投資回本,企業與消費者終究得在 AI 服務與產品上花大錢。
不過,T3 Chat 執行長 Theo Browne 提出另一種選擇,消費者也可以轉向更便宜、效能較弱、資源需求更低的模型。他也在研究如何引導用戶做出這種選擇,因為大部分人使用 AI 聊天機器人時,根本不需要最耗資源的模型。
例如,OpenAI 最新的 GPT-5 Nano,每百萬 Tokens 僅需約 0.1 美元;相比之下,完整版本 GPT-5 按業界常用的加權平均計算,每百萬 Tokens 約 3.44 美元。雖然限制用量與推廣「便宜 AI」能暫時幫助部分新創,但它們終究陷入是否該漲價趕走客戶的困境;而大公司擁有自家大型模型,能在直接服務客戶時承擔虧損。
(首圖來源:pixabay)