在最近一期喬·羅根(Joe Rogan)podcast 中,輝達(Nvidia)首席執行長黃仁勳(Jensen Huang)透露,深度學習的發明源於 2012 年使用 GTX 580 顯示卡的 SLI 配置。GTX 580 顯示卡基於 Fermi 架構,擁有 512 個 CUDA 核心,雖然原本設計為高階遊戲用途,但其強大的平行運算能力卻成為深度學習快速訓練的關鍵。
深度學習是當今人工智慧(AI)產業的核心技術,讓AI能自我學習,而這一切的基礎卻是當時並不專門為此設計的硬體。黃仁勳指出,最早開發深度學習的研究人員在一對3GB的GTX 580顯示卡上運行了世界上第一個機器學習網路。
這些研究人員來自多倫多大學,他們的目標是改善計算機視覺中的圖像檢測。2012年,亞歷克斯·克里澤夫斯基(Alex Krizhevsky)、伊爾亞·蘇茨克維(Ilya Sutskever)和傑佛瑞·辛頓(Geoffrey Hinton)利用兩張GTX 580顯示卡訓練了AlexNet模型,這個模型包含5個卷積層和3個全連接層,總計約6,000萬個參數。AlexNet的自動特徵學習能力使其在ImageNet競賽中超越當時的手動設計演算法70%以上,立即引起業界關注。
黃仁勳進一步指出,AlexNet的開發者正是利用GTX 580顯示卡來構建他們的圖像辨識演算法。該網路經過優化,可以在兩個顯示卡上運行,並且僅在需要時交換數據,顯著縮短訓練時間。這使得GTX 580成為世界上第一款運行深度學習/機器學習AI網路的顯示卡。
有趣的是,這個里程碑的達成正值Nvidia在AI領域的投資極少。當時,該公司的大部分圖形研究和開發都集中在3D圖形和遊戲上,GTX 580顯示卡專為遊戲設計,並未具備加速深度學習網路的先進支持。最終,顯示卡的固有並行性正是神經網路快速運行所需的。
黃仁勳還透露,正是因為AlexNet及其在GTX 580上的應用,Nvidia才開始開發AI硬體。他表示,一旦公司意識到深度學習可以用來解決世界問題,便在2012年將所有資金、開發和研究投入到深度學習技術中。這個決策催生了2016年推出的原始Nvidia DGX、首代Tensor核心的Volta架構以及DLSS技術。如果沒有一對GTX 580運行AlexNet,Nvidia今天可能不會成為AI巨頭。
(首圖來源:shutterstock)






