Groq 晶片性價比高！推論成本較 NVIDIA B 系列低 5 倍、速度更快

隨著 AI 運算能力持續擴張，運算基礎設施供應商 Nebius 專家接受外媒 AlphaSense 訪談時表示，雖然 NVIDIA 高階 GPU 在效能穩居領先地位，但替代方案正快速普及，特別是在產業開始轉向「成本導向」指標後。

根據專家的說法，目前 AI 基礎設施的定價取決於 GPU 類型及容量是預先預留或隨需使用。若是隨需使用，H100 每小時約 2.95 美元、H200 約 3.50 美元，而最新 B200 是約 4.90～6.50 美元；若是預約容量，價格就會下滑，如簽訂 1–2 年合約且至少 10,000 顆 GPU。換算下來，H100 每小時約 1.50 美元、H200 約 2.20 美元、B200 約 3.50 美元以上。

NVIDIA 去年底宣布與 AI 新創 Groq 達成非獨家授權協議，Nebius 專家指出，目前推論運算已佔企業 AI 工作負載需求 90%～95%，原因在於企業越來越依賴已訓練完成的模型或 API，而非自行訓練模型。

這種轉變不僅發生在訓練到推理的結構上，也正在改變成本計算方式，逐步走向「每百萬 token 計價」，收費方式也不同。該專家指出，新的收費模式是依照 token（或每百萬 token）向用戶收費。

據悉，Groq 晶片價格非常親民，每百萬 token 成本僅約 0.05～0.10 美元，推論速度上每秒可處理 800 token；相比之下，NVIDIA GPU 如 B100、B200 或 B300 的價格為每百萬 token 成本約 0.25 美元，成本約為 Groq 的 5 倍價格，推論速度上每秒可處理 450 token。

Interview with an $NBIS employee on why alternative inference chips are beginning to challenge $NVDA‘s dominance ( $CRWV, $GOOGL ):

– The expert notes that inference now accounts for roughly 90-95% of enterprise workloads, given that most companies rely on APIs or pretrained… pic.twitter.com/qINeuptisu

— AlphaSense (@AlphaSenseInc) April 23, 2026