稱 AI 仍處於「撥接時代」！Cerebras 發表全球最快 AI 推論解決方案

目標挑戰 NVIDIA、專門開發 AI 運算系統的新創公司 Cerebras 宣布發表「Cerebras Inference」AI 推論工具平台，努力打破 NVIDIA 在 AI 晶片市場壟斷局面。

外媒《金融時報》（Financial Times）報導，包括 Cerebras、d-Matrix 和 Groq 等小型公司的目標是在 AI 晶片市場中獲得市占率，並將重點放在更便宜、專運行 AI 模型的晶片上。

Cerebras 全新的「Cerebras Inference」平台以 CS-3 晶片為基礎，晶片只有餐盤大小。該公司宣稱，這個解決方案在 Llama 3.1 8B 模型上每秒可生成 1,800 個 Token，在 Llama 3.1 70B 模型上每秒可生成 450 個Token，在 AI 推理速度比 NVIDIA Hopper 晶片快 20 倍，但成本僅五分之一。

Cerebras 執行長 Andrew Feldman 指出，「擊敗 800 磅大猩猩（意指 NVIDIA）的方法，是將更好的產品推向市場，我們已從（NVIDIA）那搶走不少有意義的客戶」。

CS-3 晶片沒採用 NVIDIA 所使用的獨立高頻寬記憶體（HBM）晶片，而是提供另一種直接將記憶體內置於晶片中的架構。Feldman 指出，其優勢在於記憶體使用方式，因為記憶體頻寬的限制，會限制 AI 晶片推論速度，因此將邏輯晶片和記憶體結合至單一大晶片中，可提供「幾個量級的速度」。

也因此，Cerebras 的晶片不像 GPU 和其他處理器，需要介面連接記憶體才能存取資訊。彭博社報導，Cerebras 這個方法依賴由單片矽晶圓製成的巨型晶片。透過這種新技術，Cerebras 的晶片功能比傳統同類產品強，但傳統硬體無法容納這些超大尺寸晶片，必須設計專容納這些晶片的電腦。

Feldman 形容，「直到今天，我們還處於 Gen AI 撥接時代，沒多少 GPU 可拼湊在一起，實現這個目標」，而他的電腦將顛覆 AI 產業，使 AI 系統反應更迅速，如同轉換到高速網路。

據悉，Cerebras 已提交一份首度在公開募股中出售股票的保密計畫，同時建立自家資料中心，試圖將晶片銷售給微軟、亞馬遜等雲端服務供應商。

d-Matrix、Groq 同樣對 NVIDIA 虎視眈眈

另一間新創公司 d-Matrix 也有同樣的野心。

d-Matrix 計畫今年底全面推出自有晶片平台 Corsair。d-Matrix 創辦人 Sid Sheth 指出，該公司將產品與 Triton 等開放式軟體搭配，目前 NVIDIA 最大客戶支持使用 Triton 等開放軟體。應用程式開發人員不喜歡被某種特定工具所束縛，人們也逐漸發現受 NVIDIA 的 AI 軟體平台 Cuda 限制。

d-Matrix 由創辦人 Sid Sheth 於 2019 年創立，在新加坡國有基金淡馬錫領投的 B 輪融資中籌得 1.1 億美元，不到一年便啟動新一輪融資。d-Matrix 目標是在今年或明年初籌集 2 億美元以上資金。

另一間 AI 推理競爭對手 Groq 本月從 BlackRock Private Equity Partners 領投的投資者那籌集 6.4 億美元，估值為28億美元。知情人士透露，晶片製造商 Graphcore 上個月被軟銀以略高於 6 億美元收購，少於 2016 年成立以來籌資約 7 億美元的風險資金。

（首圖來源：Cerebras ）