AI 代理效率致命傷：GPU 逾半時間空轉，耗電量大破表

人工智慧（AI）飛速發展，龐大電力需求早已成為各國政府、公用事業與科技巨頭面臨的棘手難題。最新研究指出，下代具思考與執行力的「AI 代理」（AI Agent），恐將讓這場能源危機雪上加霜。

韓國科學技術院（KAIST）電氣電子工程學系柳民秀（Minsoo Rhu）教授帶領的研究團隊，發表了全球首份針對 AI 代理能源成本的系統性定量分析報告。結果震驚業界：這類自主系統單次查詢耗電量，竟比傳統生成式 AI 聊天機器人高 136.5 倍。

效率硬傷：重複呼叫與硬體閒置

傳統的 AI 聊天機器人通常只產生單一回覆，但 AI 代理運作模式截然不同。為了完成複雜研究、程式開發或工作流程自動化等任務，AI 代理必須反覆呼叫大型語言模型（LLM）、自動瀏覽網頁、執行程式、使用計算機，甚至與外部軟體互動。

強大功能背後，伴隨極高運算代價。團隊將 AI 代理視為新型態資料中心工作負載，並在真實服務環境測試，結果發現兩大效率致命傷。

首先是回應延遲嚴重，與傳統的「思維鏈」（Chain-of-thought）推理相比，AI 代理回應延遲時間拉長達 153.7 倍。

其次是硬體持續空轉，負責驅動這些運算、價格高昂的 GPU（圖形處理器）執行時高達 54.5% 時間處於閒置狀態。這是因為 GPU 在等外部工具完成任務時，無法做實質 AI 運算；也就是說，即使沒有主動運算，硬體仍持續白白消耗電力。

驚人的耗電量：若普及恐吞噬美國半數電力

能源消耗細節，團隊以目前商用 AI 服務水準、有 700 億個參數的大型語言模型測試。結果顯示，AI 代理處理單次查詢平均需要消耗 348.41 瓦時（Wh）電力，足足是傳統簡單問答型 AI 的 136.5 倍。

為了評估全球能源基礎設施的潛在衝擊，團隊模擬未來應用場景：假設 AI 代理每天需處理 137 億次要求（約等於現在 Google 每日搜尋量），全球 AI 基礎設施就需耗費高達 198.9 吉瓦（GW）電力。

這個驚人的數字，不僅遠超目前各國規劃或建設中的數吉瓦級 AI 資料中心容量，更相當於整個美國平均總用電量一半。

AI 賽局新戰場：從「更聰明」轉向「更節能」

OpenAI、Google、微軟及 Anthropic 等科技巨頭都大舉投資 AI 代理，視之為超越傳統聊天機器人的下個重大技術飛躍。但柳民秀教授直言，這項研究清楚表明，單純提升 AI 模型的智慧程度也不夠應付未來挑戰。AI 競爭力核心，正從「如何打造更聰明的 AI」轉向「如何打造更高效、更節能的 AI」。

團隊強調，將來 AI 必須採「協同設計」（Co-design），將 AI 模型、晶片、伺服器與能源系統一體最佳化。唯有如此，才能維持營運成本可控下，實現 AI 大規模永續發展。團隊已開源 AI 代理基準測試（Benchmarks），期盼推動業界共同解決日益嚴峻的電力挑戰。

（首圖來源：Unsplash）