特斯拉（Tesla）於 CVPR 2021 大會上宣布，推出專用於訓練自動輔助駕駛與自動駕駛功能的深度神經網路超級電腦；該叢集使用 720 個節點，每個節點搭載 8 個 NVIDIA A100 Tensor 核心 GPU（共 5,760 個 GPUs），實現 1.8 exaflops 的運算效能。
特斯拉在本次大會上也揭露自家自駕車的訓練過程。在訓練過程中，特斯拉以「影子模式（Shadow mode）」運行的深度神經網路，在不實際控制車輛的情況下，會在汽車的行駛過程中悄悄進行感知並做出預測。此時這些預測內容與錯誤或誤判的情況會被記錄下來，接著，特斯拉的工程師使用這些執行個體，建立一個複雜且多元場景的訓練資料集，讓深度神經網路（DNN）更加完善。
為此，特斯拉收集了約一百萬個以 36 FPS 錄製的十秒鐘畫面，累計出高達 1.5PB 的資料量。接著，深度神經網路在資料中心反覆執行這些場景，直到未出現任何錯誤。最後，再將訓練完的深度學習神經網路送回車輛，並再次展開這個過程。
▲ GPU 叢集是特斯拉垂直整合自動駕駛的其中一部分。（Source：NVIDIA）
特斯拉人工智慧部門資深總監 Andrej Karpathy 表示，這種以大量資料來訓練深度神經網路的方式，需要使用「龐大的運算量」，這也是為什麼特斯拉使用高效能的 A100 GPU 來建立和部署當前的超級電腦。
NVIDIA 則說明，採用 NVIDIA Ampere 架構的 A100 GPU，其效能表現較前一代提升 20 倍，且可以分割多達七個 GPU 執行個體，並依照不斷變化的需求進行調整。GPU 叢集是特斯拉垂直整合自動駕駛的其中一部分，其透過超過百萬輛在路上行駛的汽車來完善和建立新功能，並持續改進。
據悉，特斯拉目前部署的深度神經網路結構，可以讓二十名工程師同時在一個網路上工作，並區隔不同的功能以進行同步開發。接著，這些深度神經網路能以較過去快速反覆運算的速度還要更快的方式，運行訓練資料集。
Karpathy 指出，電腦視覺是特斯拉進行研發及實現自動輔助駕駛的基本要素。要讓它真正發揮作用，就得訓練一個大型的神經網路並進行大量實驗。這正是特斯拉在運算領域投入許多心力和資金的原因。
（首圖來源：特斯拉）
