中國北京大學研究團隊開發一套全光學互連系統，透過將標準電子晶片相互連接，使 AI 分散式推論速度提升超過 100 倍，運算資源也僅傳統方案的 1/9。
隨著業界對運算能力的需求攀升，北京大學提出一種新方法，透過將晶片與特定演算法進行光學串聯，可使 AI 推論速度提升超過 100 倍，運算資源亦降至原本 1/9。
中媒《南華早報》指出，該團隊利用 FPGA 晶片作為系統的「樂高」，
連接這些 FPGA 的「接點」則是兩款自行設計的通訊硬體元件。一款是傳輸速率達 400Gbps 的矽光子收發晶片，負責電訊號與光訊號之間的雙向轉換；第二個則是一顆 16×16 光交換晶片，在光傳輸過程中扮演路由器角色，在最多 16 個輸入埠與 16 個輸出埠間建立任意連接。
研究人員將五顆 FPGA 並聯起來，在專用資料集中執行影像去雜訊（image denoising）任務，僅花費 105.16 微秒便處理完 1,000 張、每張 32,768 位元的影像。
為了對比，該團隊也使用一個算力為 16.96 TFLOPS 的商用 GPU 執行相同任務，完成運算需耗時 15.6 毫秒。這使 FPGA 系統的速度快了近 150 倍，且運算能力加起來不到該 GPU 資源的 1/9。
這項優勢主要來自光通訊本身特性。報導稱，該光交換晶片的總插入損耗低於 5 分貝（dB），可實現高速且近乎無錯誤的資料傳輸，不需要額外的光放大補償。在傳統 GPU 執行神經網路推論時，各層之間會產生大量中間運算結果，即所謂的特徵圖（feature maps）。這些資料需要反覆寫入與讀取記憶體，且每一層都必須等待前一層完成後才能開始運算，因此部分運算單元會處於閒置狀態。
但在光學運算架構下，一層的運算結果可直接流向下一層，如同生產線一般持續傳遞，不必經過記憶體存取，所有晶片都能保持持續運作，大幅提升整體效率。
報導指，這也意味在 AI 算力競賽中，比起堆疊更多晶片，如何聰明連接晶片才更具效益。根據論文，透過演算法、處理器微架構，以及晶片層級互連的協同設計（co-design），即使在有限的運算資源下，也能實現特定應用目標。
研究人員進一步指出，這套架構也有助於降低資料中心難以持續增加的能源消耗，可在邊緣運算應用中進一步優化延遲與能源效率。這項研究已發表於《National Science Review》。
On-chip large-scale all-optical interconnect for ultra-low-latency deep neural network inference
（首圖來源：pixabay）
科技新報粉絲團
加入好友
訂閱免費電子報
