ChatGPT 難以複製的原因，除了耗顯卡，還有水電費？

一覺醒來，世界又變了。ChatGPT 走入大眾後，AIGC 業大爆發，尤其 3 月彷彿每天都是「歷史性」的一天。

以ChatGPT為代表的生成式AI看似超前，卻以極「古典」的形式降世。它沒有花哨圖示，也沒有完美UI設計，而是用最簡單的對話框「震撼」世界。如此簡單卻成了網路和現實最紅的話題，果然「好看的皮囊千篇一律，有趣的靈魂萬中選一」。只是只能在網頁和問答感受它，讓我們忽略了不少問題。

看似毫無負擔的「回答」，背後卻是世界屈指可數的算力成就。隨著ChatGPT成為常態，藏在ChatGPT背後的眉角也逐步顯現。

燒錢費電，還喜歡喝水

生成式AI消耗顯卡很類似「挖礦」。大語言模型（LLMs）訓練參數越多，性能越好，2018年的LLM約1億個參數，現在約要2千億個參數。跑AI需要算力高強的GPU，輝達2020年推出A100高性能GPU，打包八張A100組成DGXA100伺服器，運算伺服器或說顯卡組，最終放在雲端運算中心，如微軟Azure雲服務。 Google

▲ TPU v4組成的Google機器學習中心。（Source：Google）

不光訓練大語言模型需要大量算力，每個用戶問一次，ChatGPT回答一次，都要用到部分算力。流量就是金錢，OpenAI、微軟應該都有刻骨銘心的感受。Similarweb數據，3月ChatGPT吸引全球16億次拜訪，是1月近三倍，即便微軟有準備，裝了一萬多張A100給ChatGPT，但如此流量就算OpenAI也扛不住，當機、封帳和暫停Plus會員開通紛紛上場。

有人估算想完整吃下那時流量，微軟還得再買幾萬張A100或H100顯卡，Azure現在算力遠遠不夠。但買更多顯卡，除了燒錢也會有更多問題。八張A100組成的DGXA100伺服器售價約19.9萬美元，最高功率為6.5kW。以萬張計算，光硬體微軟就要花掉2.5億美元，營運一個月就用掉585萬度電。

除了顯卡本身價格及維持工作的電力，還要有涼爽的環境，搭配蒸發冷卻裝置。原理簡單，就是利用蒸發水散熱，但運行需要耗費大量清水，且循環過程約1%~2%水會蒸發被風帶走。雖然水量大致維持動態平衡，但冷卻塔的小環境卻有無形消耗。

結合AIGC需龐大算力的運算中心，科羅拉多大學與德州大學研究員估算訓練過程消耗的水量。以GPT-3為例，訓練時清潔淡水等於填滿核反應堆冷卻塔水量。果然AI最終還是會跟核電掛鉤。再具體點就是約70萬升水，且還算出一個用戶與ChatGPT進行25~50次問答，大概等於給ChatGPT喝500ml水。蒸發冷卻塔工作時，平均每消耗一度電，就讓一加侖水（3.78L）消失。

不只微軟，Google 2019年為三座資料中心耗費超過23億加侖水。美國本土Google有14座資料中心，為搜尋和現在LaMDA和Bard提供算力，且訓練LaMDA語言模型時比GPT-3還耗水。

AI不只吃顯卡，要住恆溫大房子，胃口還出奇的好，大口吃電，大口喝水。 Google

▲ Google運算中心。（Source：Google）

無處不在的AI鴻溝

AIGC業簡單準確回應的對話框，背後不只技術力，也代表雄厚的金錢力。Sasha Luccioni博士表示，大型語言模型，世界只有少數公司才有資源訓練。以GPT-3為例，訓練1,800億參數，成本約460萬美元，還不包括後續營運和更新維護等。這些有形的無形成本，當然很多公司無法承擔。

故AIGC浪潮下形成AI鴻溝，分成兩種公司。一是錢多到夠燒，訓練最複雜的大語言模型的大型科技公司；另一種就是無法承擔的非營利組織和小公司。

許多AIGC到底消耗多少電力資源的研究報告，多以GPT-3或「預估」等帶過，就像訓練GPT-3用了多少水的研究，OpenAI並沒有披露GPT-3訓練時長，研究員只能從微軟Azure運算中心冷卻塔數據估算。碳排放等其他數據，也多從2019年Bert訓練模型估算。除了資金、GPU、資料中心、網路頻寬等硬實力，Google、微軟也把大語言模型訓練、過程、時間、參數等都列為最高機密。

我們想使用了解，只能透過API或詢問ChatGPT和Bard，無形中成為「AI鴻溝」。

AIGC發展迅速且能力無限擴大，許多國家組織都在考慮如何幫AIGC設立規範，免得它（產生自我意識，開始覺醒等等等）恣意妄為。但就如研究員，AIGC（如GPT-4）幾乎沒有公開資訊，更像科技黑盒子。對大公司而言，AIGC可能就是下個新時代的開端，建造科技壁壘無可厚非，但資源消耗，無論立法機構還是大眾，都該保持透明度，這也是AI提供便利同時，為何研究員不斷挖掘想找到耗費多少資源的理由。