Nvidia 發表 TensorRT 3 可程式化推理加速器,比起 CPU 能實現高達 40 倍吞吐率

作者 | 發布日期 2017 年 09 月 27 日 17:15 | 分類 AI 人工智慧 , 會員專區 , 網路 follow us in feedly


9 月 26 日,在 Nvidia GPU 技術峰會上,Nvidia 創始人兼 CEO 黃仁勳正式發表 TensorRT 3 神經網路推理加速器。據官方介紹,TensorRT 3 能極大改善處理性能,削減從雲端到邊緣裝置(自動駕駛汽車、機器人等)的推理開銷。TensorRT 3 是在 Volta GPU 實現最優推理性能的關鍵,比起 CPU 它能實現高達 40 倍的吞吐量,時延在 7ms 之內。目前,對於 Nvidia 開發者計畫成員,現在有針對 Tesla GPU(P4, P100, V100)和 Jetson 嵌入式平台的 TensorRT 3 提供免費下載。

本篇文章將帶你了解 :
  • Nvidia 發表 TensorRT 3 可程式化推理加速器,比起 CPU 能實現高達 40 倍吞吐率
  • 關鍵字: , , , ,