GPU 大廠輝達 (NVIDIA) 年度重頭戲 GTC 2022 展開，創辦人暨執行長黃仁勳主題演講亮相多項產品，最受矚目的即是台積電 4 奈米製程代工，以美國電腦科學家先驅 Grace Hopper 命名的全新架構，接替兩年前推出的 NVIDIA Ampere 架構。
NVIDIA 指出，首款採用 Hopper 架構的 GPU 產品 NVIDIA H100，GPU 封裝 800 億個電晶體，是全球最大且效能最強大的加速器，具突破性功能，如革命性的 Transformer Engine 及高度擴展性的 NVLink 互連技術，可推動極大規模 AI 語言模型、深度推薦系統、基因組學和複雜數位孿生等發展。黃仁勳表示，資料中心將成為 AI 工廠，處理海量資料並提煉出寶貴智慧。NVIDIA H100 是全球 AI 基礎設施的引擎，讓企業加速推動各項 AI 業務進展。
採用 Hopper 架構的 H100 GPU 為加速大規模 AI 及高效能運算樹立新標準，並帶來六項突破性創新：
1. H100 有 800 億個電晶體，採用台積電 4N 製程、專為滿足 NVIDIA 加速運算需求設計，加速 AI、高效能運算、記憶體頻寬、互連和通訊方面有重大進展，如每秒近 5TB 外部連接速度。H100 是首款支援 PCIe Gen5 及首款使用 HBM3 的 GPU 產品，提供每秒 3TB 記憶體頻寬。20 個 H100 GPU 便足以支撐全世界網路流量，讓客戶運行先進推薦系統和大型語言模型，即時使用各項資料推論。
2. Transformer 是自然語言處理的首選標準模型，是史上最重要的深度學習模型之一。相較前一代產品，H100 加速器的 Transformer Engine 能將這些網路速度提高六倍，又不失精準度。
3. 多執行個體 GPU (Multi-Instance GPU，MIG) 技術可將一個 GPU 分割成七個較小、完全隔離的個體以處理工作。Hopper 架構在雲端環境為每個 GPU 執行個體提供安全多租戶配置，將 MIG 能力較前一代擴大達七倍。
4. H100 是全球首款有機密運算能力的加速器，處理 AI 模型和客戶資料時保護。醫療照護和金融服務等對隱私極為敏感的產業，聯邦學習時同樣能運用機密運算，在共享雲端基礎設施也同樣可行。
5. 為加速最大型 AI 模型運作，以 NVLink 搭配全新外部 NVLink 交換器，將 NVLink 當成伺服器以外垂直擴展網路，相較使用 NVIDIA HDR Quantum InfiniBand 的前一代產品，能以超過九倍頻寬連接高達 256 個 H100 GPU。
6. 與使用 CPU 相比，全新 DPX 指令將用於眾多演算法 (包括路線最佳化及基因組學) 動態規畫執行速度增加達 40 倍；與使用前一代的 GPU 相比，速度快了 7 倍。這包括為動態倉庫環境的自動機器人車隊尋找最佳路線的 Floyd-Warshall 演算法，以及 DNA 和蛋白質分類及摺疊的序列比對 Smith-Waterman 演算法。
H100 多項技術創新擴大 NVIDIA 的 AI 推論和訓練領先地位，使 NVIDIA 利用巨大 AI 模型做到即時和沉浸式應用。H100 讓聊天機器人使用全球最強大單體 transformer 語言模型 Megatron 530B，傳輸量超過前一代產品 30 倍，同時滿足即時對話式 AI 所需次秒級延遲。H100 同時讓研究人員和開發人員能夠訓練 Mixture of Experts 這類大規模模型，含 3,950 億個參數，能將速度提高九倍，訓練時間從過去數週減少到數日便能完成。
H100 將有 SXM 和 PCIe 兩種規格，以滿足各種伺服器要求。同時也推出融合加速器，H100 GPU 搭配 NVIDIA ConnectX-7 400Gb/s InfiniBand 及 Ethernet SmartNIC。H100 可部署在各類型資料中心，包括企業、雲端、混合雲和邊緣。預計 2022 年第三季透過全球各大雲端服務供應商及電腦製造商供貨，也可直接向 NVIDIA 購買。
(圖片來源：NVIDIA)
