MIT 發表全新光電混合運算智慧型網卡，能以 100Gbit/s 速度即時處理機器學習推論請求

隨著智慧型網卡（SmartNIC）的推出，人們可以享受到傳統網卡所沒有的可程式化能力，並開啟直接在網卡上進行資料運算與傳輸的新紀元。如今 MIT 麻省理工學院的研究團隊開發出名為「閃電」（Lightning）的混合式運算平台，該平台其實是一片具備可重組態架構的光電混合智慧型網卡，堪稱是當前第一個能即時處理機器學習推論請求的光子運算系統。

採用可重組態的「計數─操作抽象化」，完美結合光子速度與電子資料流控制能力

一般而言，電子元件可以透過記憶體或指令來控制資料流，但光子運算系統卻無法辦到。對此，MIC 新開發的「閃電」智慧型網卡克服了這個障礙。該研究團隊透過可重組態的「計數─操作抽象化」（count-action abstraction）讓系統得以追蹤每個推論封包，並建立了能將封包從該網卡順場地饋送到光子網域的快速資料路徑。

總而言之，「計數─操作抽象化」能將電子和光子連接起來，其中，電子攜帶的資訊被轉換成以光速運行的光子，以協助完成推論任務。接下來，光子再被轉換成電子，以便將資訊傳送至電腦。

MIT 研究團隊指出，光子運算特別擅長處理矩陣乘法（matrix multiplication）等大量線性計算的任務，但在面對其他任務時，就可能需要藉助電子的協助。如此一來便會產生大量資料，需要在光子元件和電子元件之間進行交換，以完成機器學習推論請求等任務。該研究團隊強調，透過光子速度與電子資料流控制能力的兩相結合，「閃電」智慧型網卡能以高達 100Gbit/s 的速度即時處理深度神經網路的推論請求。

遠勝 GPU、DPU、SmatNIC 和先進加速器的能效表現

研究人員表示，長久以來，人們即使擁有一台超高速的光子電腦，但若沒有足夠的資料，它將不再進行任何合理的運算甚至暫停運行，這也使得光子和電子之間的資料流控制成為過去最先進光子運算作業的致命弱點。面對這樣的問題，過去的解決之道就是採取所謂的「走走停停」（stop-and-go）的方法來減慢資料流。

但這種做法就像是一個從未開過超跑的人，一邊拿著使用手冊一邊走走停停地開車一樣。對於超跑老手而言，所有駕駛操作的記憶全都深植肌肉 DNA，透過這樣的肌肉記憶，才能順暢自如地將超跑的性能發揮極致。

研究人員表示，MIT 所開發「閃電」平台中的「計數-操作抽象化」就等同該平台中的肌肉記憶，能無縫地驅動系統中的電子和光子。全新「閃電」平台所使用的光子比電子移動得更快，而且產生的熱量也更少，這使得該平台能以超越非混合式電腦更快的頻率和效能運行。

研究人員甚至將「閃電」這個新型智慧型網卡與標準 GPU、資料處理器（DPU）、「傳統」智慧型網卡和其他加速器進行了一場能源效率大比拼，結果證明「閃電」平台在完成推論請求時的能效表現最佳。即使與當前最先進的加速器相比，「閃電」不但加快了機器學習推論的回應速度，在功耗上更降低了好幾個數量級。不僅如此，在進行系統效能的評估中，「閃電」原型展示了以 99.25% 的精準度執行 8 位元光子乘法累加運算的可行性。