特斯拉啟動 AI 超級電腦，萬顆 H100、Dojo 同時運行

市場傳出，特斯拉（Tesla Inc.）28 日啟動眾所矚目的超級電腦，準備用於各式人工智慧（AI）應用，其運算能力特別強大、甚至可用來執行高效能運算（HPC）任務。事實上，這款基於輝達（Nvidia Corp.）「H100」晶片的超級電腦，將成為全球最強大的電腦之一。

爆料可信度一向很高、也是特斯拉投資人的Sawyer Merritt透過社交平台X指出，特斯拉28日啟動萬顆H100 GPU叢集，協助訓練全自動輔助駕駛（FSD）系統。H100 GPU運算效能是前代A100五倍快，可加速特斯拉訓練FSD，訓練成果也會比過去更優秀。不過H100 GPU非常貴，單顆要價近4萬美元。

Merritt指出，由於輝達無法追上市場GPU需求，特斯拉只能斥資十多億美元打造自家超級電腦「Dojo」。Dojo使用高度最佳化客製晶片，2024年有望成為全球最強大超級電腦，負責訓練特斯拉車隊並處理車隊傳回資料。馬斯克（Elon Musk）7月表示「老實說，若輝達交出足夠GPU，我們也許不需要Dojo。」

Merritt表示，特斯拉的輝達H100 GPU叢集與Dojo將同時啟動，大幅拉升特斯拉運算能力，目前沒有任何汽車業者能匹敵。Merritt並附一張圖，顯示特斯拉預測Dojo運算能力有機會2024年10月達100Exa-Flops。

Tomorrow, @Tesla will turn on a massive and very expensive 10,000 unit NVIDIA H100 GPU cluster to help it train FSD. But that got me wondering, what is the difference between these new H100 GPUs and the older A100 graphics processing units (GPUs) Tesla has been using for the last… pic.twitter.com/ZoCjR1SdjI

— Sawyer Merritt (@SawyerMerritt) August 28, 2023

Merritt並指出，特斯拉的FSD V12版終端對終端訓練已觸及運算瓶頸，但會積極確保未來不會如此。據馬斯克說法，特斯拉光今年就耗資超過20億美元訓練運算力，2024年也同樣。

Tom’s Hardware報導，特斯拉AI推論兼AI平台工程經理Tim Zaman 27日解釋，真實世界影片訓練，特斯拉擁有也許是世界最大訓練資料庫，快取熱層容量超過200PB，數量級（orders of magnitudes）比大型語言模型（LLMs）還高。

Tesla AI 10k H100 cluster, go live monday.
Due to real-world video training, we may have the largest training datasets in the world, hot tier cache capacity beyond 200PB – orders of magnitudes more than LLMs.
Join us!https://t.co/F4A0Qb0CXG

— Tim Zaman (@tim_zaman) August 26, 2023