核能救 AI？》生成式 AI 超級吃電，究竟消耗多少電力？

AI 正在深入社會各個領域，但訓練和使用 AI 需要消耗大量電力，讓核能發電再度受到關注。在討論核電能否解救 AI 用電瓶頸前，我們得先了解 AI 究竟要吃掉多少電。

AI 運算的能源需求分成兩大階段，荷蘭央行資料科學家 Alex de Vries 指出，先是大型語言模型的訓練階段（training phase），然後還有推論階段（inference phase），將訓練到一定程度的模型應用在實際場景，透過提示（prompt）讓模型產生回應，這兩個階段皆有高度能源需求，但具體需要多大規模外界無從得知。學術界投入研究，希望將其量化成具體數據。

訓練模型的用電量極大，比傳統資料中心運作需要更多電力。長期研究 AI 耗能的 Hugging Face 研究員 Sasha Luccioni 提出論文，訓練 OpenAI GPT-3 這種大型語言模型消耗不到 1,300 MWh 電力，相當於 130 個美國家庭每年用電量。相比之下，串流平台 Netflix 播放 1 小時大約需要 0.8 KWh（0.0008 MWh）電力，意味著觀看 Netflix 162.5 萬小時才會消耗與訓練 GPT-3 相同的電力。

這些年來 AI 模型規模不斷增大，更大的模型需要消耗更多的能源，可以想見開發 GPT-4 需要更多能源。與此同時，AI 公司使用一些經過驗證的方法提升能源效率，以降低耗能成本。

回到數年前，OpenAI 還會公開他們訓練模型的相關資訊，包括使用什麼硬體設備、訓練長達多少時間，但到了 ChatGPT、GPT-4、Sora 等便不再對外揭露，外界難以探究訓練最新模型需要消耗多少能源。Sasha Luccioni 認為，這種保密做法與不同公司競爭有關，同時轉移批評聲浪。

訓練完模型、建立 AI 系統後進入推論階段，對消費者提供應用服務，運用 AI 生成內容。Sasha Luccioni 去年 12 月與研究夥伴發表另一篇論文，針對 88 個模型測試執行千次運算並估算耗能成本，得出如文字生成消耗 0.047 KWh，圖像生成消耗 2.907 KWh 遠高於文字生成。

論文更提到，效率最低的圖像生成模型需要消耗 11.49 KWh。換個說法，若與智慧手機電力相比，充飽一次電需要 0.012 KWh，執行圖像生成模型換算下來可充飽超過 950 支手機，相當驚人。

▲ AI 圖像生成消耗能量遠高於文字類。（Source：arXiv.org）

資料中心用電量攀升

訓練模型需要如 NVIDIA GPU 這類高階晶片，尤其業界現正採用 H100。特斯拉、xAI 執行長馬斯克（Elon Musk）日前透露，訓練下一代 Grok 3 等模型需要 100,000 顆 H100。

當 H100 充分利用下功耗約 700W，因此 100,000 顆 H100 用於 AI 和 HPC 工作負載，消耗高達 70 MW。這些 GPU 同時需要伺服器和冷卻系統來運行，因此具備 100,000 顆 H100 GPU 的資料中心恐怕需要約 100 MW 電力，相當於一座小城市用電量。

2010 至 2018 年間，全球資料中心能源使用量呈現穩定。國際能源總署（International Energy Agency，IEA）今年初報告顯示，由於 AI 和加密貨幣需求攀升，不久的將來資料中心用電量不斷攀升。

資料中心的電力消耗在 2022 年約 460 TWh，僅占全球電力需求 2% 左右，其中加密貨幣挖礦達到 110 TWh。現今 AI 熱潮推動下，到了 2026 年，資料中心用電上看 620~1,050 TWh，這種增加趨勢相當於增加一整個國家的電力需求，例如瑞典或德國。

▲ 科技大廠紛紛投資資料中心，必須考慮是否有充足電力供應。（Source：shutterstock）

儘管世界各國積極發展能源計畫、擁抱綠能，不少著眼 AI 發展的產業人士高聲疾呼 AI 耗電問題必須解決，否則恐怕拖慢 AI 技術進展。馬斯克直言去年 AI 發展受到晶片短缺，新瓶頸卻是電力供應。亞馬遜執行長賈西（Andy Jassy）也曾警告，目前沒有足夠能源推動新的生成式 AI 服務，解決缺電問題是當務之急。