日本 AI 晶片新創挑戰 NVIDIA，從軟體、記憶體找突破口

目前亞洲新創正努力證明會提供比 AI 晶片巨頭 NVIDIA 更好的解決方案，因為目前 GPU 設計上較為笨重，也相當耗能，這兩點將成為新創公司的突破口。

AI 晶片主要分為「推理」與「訓練」，前者是使 AI 模型產生預測或結論，後者是開發新 AI 模型要能做出準確推理的過程。例如，OpenAI 需要訓練晶片開發聊天機器人 ChatGPT 的新模型，但要讓 ChatGPT 回答問題就需要推理晶片。

日本 AI 獨角獸 Preferred Networks（PFN）執行長 Toru Nishikawa 接受日經採訪時表示，「沒有人想出完美的推理晶片架構。我認為這個領域架構將有很大的變化，誰以最低價格提供適合的架構，誰就贏。」PFN 開發訓練晶片的同時，也將推理晶片市場視為測試產品能效的機會。

目前 NVIDIA 之所以成功，主要來自「訓練」蓬勃發展，其 GPU 能處理 AI 模型開發所需的大量平行運算，但因為 GPU 太昂貴、體積大，不適合導入筆電和可穿戴設備。

NVIDIA 用於資料中心的 AI 晶片，每顆價格為 2.5 萬到 4 萬美元，是傳統產品 7 到 8 倍。Nishikawa 認為，如果推理晶片成本與訓練晶片相同，這種商業模式很難維持下去，必須開發能在 PC 運作的 AI 晶片。

Omdia 顧問總監 Kazuhiro Sugiyama 預期，未來「裝置上 AI」需求將增加，潛在市場包括 PC、智慧型手機、監控攝影機和無人機，都鼓勵新創加入戰局。NVIDIA 產品首要問題是價格，一個 NVIDIA 晶片要花費 2.5 萬美元，對想投資 AI 的公司是負擔。

目前有機會挑戰 NVIDIA 的新創，包括軟銀願景基金支持的美國公司 SambaNova Systems、前英特爾工程師創立的 Tenstorrent，以及軟銀近期收購的英國公司 Graphcore。此外，大型科技公司如 Google、微軟、Meta、亞馬遜也加入其中，還有 NVIDIA 競爭對手 AMD。

從軟體下手，使 AI 晶片更有效率

PFN 及合作夥伴目標是在 2027 年 3 月前開發下一代 AI 加速器晶片。PFN 晶片設計主管、神戶大學教授Junichiro Makino 指出，目標是使新晶片比 B200 晶片組更強大和省電，公司打算從軟體下手，因為軟體類似晶片內部的「大腦」，決定如何有效處理特定任務，並將資料與運算分給各核心，使每個核心更專注在處理任務相關資料。

此外，部分新創公司認為 NVIDIA 為了提升晶片效能，採用增加核心與記憶體的做法，如同「用蠻力砸問題」，好比汽車想加速時，是選擇將引擎做更大，這反而捨棄掉了效率。

整體來說，NVIDIA 也正在製造量身打造的 AI 晶片，但主要策略仍是調整軟體平台，以符合 AI 或自駕車等特定應用，整體架構策略沒太大改變。Omdia 的 Sugiyama 直言，「NVIDIA 不太可能將架構改成與 GPU 完全不同的東西，他們永遠製造同類型晶片，這也是具有經濟效益的原因」。

業界人士透露，NVIDIA 還採用更多用途的設計方法，優先考慮可運行多種頂尖 AI 的晶片。新創公司可將設計重點放在特定應用上，以尋找新競爭空間。

記憶體也是破口之一

日本 AI 晶片新創 Edgecortix 正試圖解決「記憶體牆」（memory wall）問題。雖然 GPU 擅長運算龐大的矩陣集，但沒有長時間的記憶體，因此運算時會存取記憶體晶片，記錄結果或回想下一個任務。

當必須進入記憶體並返回次數越多，功耗和延誤就作為昂貴的代價，也使晶片需要耗費額外電力來補償，導致設計笨重且能源效率較低。也因此，Edgecortix 設計的晶片能以更精簡方式處理資料，降低晶片需要存取記憶體的次數，當處理、運算勝過一般 GPU，公司就不需要功能強大又昂貴的 HBM 晶片。

Edgecortix 執行長 Sakyasingha Dasgupta 指出，日本的「晶片復興」也改變對公司有利的環境，台積電赴日設廠將有助於培育當地的晶片設計生態系統，「即使從地緣政治角度看，亞太地區目前也處於非常關鍵的位置，這是優勢之一」；PFN 的 Nishikawa 則認為日本晶片封裝解決方案具有競爭力。