語言推論時間減至 1.2 毫秒!NVIDIA 全新 AI 軟體實現更強搜尋引擎

作者 | 發布日期 2021 年 07 月 21 日 10:48 | 分類 AI 人工智慧 , 網路 , 軟體、系統 Telegram share ! follow us in feedly


為使開發人員能打造更高效能的搜尋引擎、廣告建議與聊天機器人,NVIDIA 近日宣布推出第八代人工智慧軟體 TensorRT 8,其特色在於能讓語言查詢的推論時間減半,只需要 1.2 毫秒就能在 BERT-Large 上達到破紀錄的語言應用速度,而 BERT-Large 是全世界最被廣泛使用的 Transformer 模型之一。

NVIDIA 開發人員計劃事業部副總裁 Greg Estes 表示,AI 模型正以指數級的速度變得越來越複雜,而全球各地對於使用 AI 的即時應用需求也隨之高漲。這讓企業迫切地部署最新的推論解決方案。最新版本的 TensorRT 導入全新的功能,可以讓企業把對話式 AI 應用交付給客戶,達到更快的反應速度。

TensorRT 8 只需要 1.2 毫秒就能在 BERT-Large 上達到破紀錄的語言應用速度,企業以往只能縮小模型的大小,但也因此造成較低的精準度;透過TensorRT 8,企業可以把模型的大小擴增兩倍或三倍,大幅提升精準度。

另外,TensorRT 8 還透過另外兩個關鍵功能達成 AI 推論的突破,分別是稀疏性(Sparsity)和量化感知訓練。所謂的稀疏性,是 NVIDIA Ampere 架構 GPU 中用以提升效率的效能技術,可以讓開發人員藉由減少運算作業以加速神經網路。

至於量化感知訓練,則讓開發人員可以在不犧牲精準度的情況下,運用已訓練好的模型和 INT8 的精度運行推論,這讓他們在 Tensor 核心上進行高效率推論時,可以大幅減少運算與儲存的時間。

(首圖來源:NVIDIA)