Meta 打造新一代 AI 超級電腦,要在今年搶下世界最快寶座

作者 | 發布日期 2022 年 01 月 25 日 9:32 | 分類 AI 人工智慧 , GPU , 元宇宙 Telegram share ! follow us in feedly


為實現更強大的人工智慧(AI),Meta Platform 表示,其研究團隊建造了一台全新,名為 AI Research SuperCluster(SRC)的 AI 超級電腦;目前已用於自然語言處理(NLP)、視覺運算等模型訓練。Meta Platform 更強調,SRC 已是當今世上運算最快的超級電腦之一,而在今年中期完全建置之後,將成為世上最快的超級電腦。

Meta Platform 近日在部落個文章中宣布此一消息,指出 Meta 長期致力於 AI 的投資,而為了實現更大量的語言、語音或是視覺訓練,即需要更高效能的運算基礎設施。為此,Meta Platform 聯手 NVIDIA、Penguin Computing、Pure Storage等合作夥伴,共同開發新一代 AI 超級電腦。

據悉,RSC 共有 760 個 NVIDIA DGX A100 系統做為其運算節點,總共有 6,080 個 GPU,使得 SRC 的運算效能大增。根據初期測試顯示,其在進行視覺運算時,工作速度較之前的 AI 運算系統提升 20 倍,運行 NVIDIA NCCL 的速度則提升 9 倍以上,且在訓練大規模的語言模型上則提升三倍。這也意味著 SRC 可在三週內完成擁有數百億參數的模型,而之前的系統需花費九週的時間。

Meta Platform 指出,其研究團隊目前正在使用這台超級計算機訓練 AI 模型,進行自然語言處理和電腦視覺研究;目標是希望 SRC 有朝一日能在 1 艾字節的數據集上訓練包含超過 1 兆個參數的模型,1 艾字節大約相當於 3.6 萬年的高畫質影片。

Meta Platform 也強調,儘管 SRC 已開始運行,不過其仍在開發中,Meta 將努力提升 SRC 中的 GPU 數量,預計從現有的從 6,080 個增加到 16,000 個,這將使 AI 訓練性能提高 2.5 倍以上。當今年夏天 SRC 完全建置完成後,將成為世上最快的 AI 超級電腦。

(首圖來源:Meta Platform