微軟發表基於英特爾 FPGA 的低延遲深度學習雲平台「Project Brainwave」

作者 | 發布日期 2017 年 08 月 24 日 9:12 | 分類 AI 人工智慧 , Microsoft , 雲端 follow us in feedly

微軟 22 日發表 Project Brainwave,一個基於 FPGA 的低延遲深度學習雲端平台。微軟官方評測顯示,當使用英特爾 Stratix 10 FPGA,Brainwave 不需要任何 batching 就能在大型 GRU(gated recurrent unit)達 39.5 Teraflops 的效能。



微軟表示,該系統為即時 AI 設計──這意味著,它能以極低的延遲在接收資料後立刻處理要求。由於雲端基礎設施需要處理即時資料流,不管是搜尋要求、影片、感測器資料流還是用戶互動,即時 AI 正在變得越來越重要。

Project Brainwave 的系統可分為三層面:

  1. 高效能分散式系統架構。
  2. 整合到 FPGA 硬體上的深度神經網路(DNN)引擎。
  3. 能 low-friction 部署已訓練模型的編譯器和 runtime。

第一點,Project Brainwave 利用微軟數年建立起來的 FPGA 基礎設施。透過把高效能 FPGA 連線到資料中心網路,微軟可為 DNN 提供硬體微服務支援──把一個 DNN 加載到遠端 FPGA,再由一個 loop 中沒有軟體的伺服器呼叫。這套系統架構既降低延遲,因為 CPU 不需要處理傳來的要求;也能達到非常高的吞吐率,FPGA 處理要求的速度能達到網路接受要求的速度。

第二點,Project Brainwave 使用一個非常強大的「軟」DNN 處理單元(即 DPU),並整合到可購買的 FPGA 中。

有許多公司,包括大企業和初創公司,正在開發「硬化」的 DPU。雖然很多晶片有很高的峰值效能,它們卻必須要在設計時就選擇運算子和資料類別,這限制了彈性。Project Brainwave 採取另一條路,提供一個橫跨多種資料類別的設計。理想的資料類別可以在合成時間(synthesis-time)選擇。該設計整合 FPGA 上的 ASIC 數位訊號處理模組與合成邏輯,提供更多、數量上更最佳化的功能單元。該方法在兩個層面上利用了 FPGA 的彈性。首先,定義了高度自訂、窄精度的資料類別,藉此在不犧牲模型精度的情況下提升效能。第二,可把研究創新快速整合到硬體平台設計──通常是幾個星期,這在快速發展的領域特別必要。做為結果,實現了不弱於這些硬編碼 DPU 晶片的效能。

第三點,Project Brainwave 內建一個支援各種深度學習框架的軟體堆。微軟已支援 Microsoft Cognitive Toolkit(註:改名後的 CNTK)和 Google 的 Tensorflow,並計劃相容更多框架。還定義一個基於圖片的中間表達,能轉化常見框架上訓練的模型,編譯到高效能基礎設施。

(本文由 雷鋒網 授權轉載;圖片來源:微軟)