NVIDIA 執行長黃仁勳在 GTC 大會中正式分享新晶片「NVIDIA Groq 3 LPU」，是輝達第一次推出整合 Groq 技術的產品。目前 NVIDIA Groq 3 LPU 將由三星代工，預計第三季出貨。
黃仁勳指出，隨著模型尺寸增加，根據不同應用場景的需求，Token 長度和上下文長度會持續增長，從可能 10 萬個 token 的輸入長度到可能達到百萬，這些因素最終都影響未來 token 的行銷與定價。
他也認為，Token 是新的商品，像所有商品一樣，一旦到達拐點，隨著成熟與否將分成不同層級，如高吞吐、低速度的，可用於免費方案；下一層級可能是中等方案；更大的模型速度一定更高。他也透露，有些可能是免費方案、下一階段是每百萬 Token 3 美元、再接下去是每百萬 Token 6 美元，未來出現每百萬 Token 150 美元的方案也就不足為奇了。
從客戶角度來看，如果將所有資源分配，其中 25% 用於免費層，25% 用於中等層，25% 用於高層，25% 用於高級層，當資料中心只有一吉瓦時，就可以決定如何分配。也因此，隨著新產品不斷迭代，相比 Blackwell，Vera Rubin 能創造 5 倍收入。
黃仁勳表示，若大部分工作負載是高吞吐，會全力 Vera Rubin 產品；若需要編碼或高價值工程 Token 生成，會將 Groq 加入，約 25% 數據中心使用 Groq，其餘 100% Vera Rubin。而這個工作負載正是 AI 工廠的工作負載，隨著全球生成更多高速、高智慧 token，這整合的價值將更高。
目前 NVIDIA Groq 3 LPU 將由三星代工，預計第三季出貨。
（首圖來源：NVIDIA）
科技新報粉絲團
加入好友
訂閱免費電子報
