不再只追求算力！AI 應用走向「適材適所」，硬體選擇成企業新考題

過去生成式 AI 席捲全球，ChatGPT 等大語言模型快速滲透到消費與企業市場，也帶動追逐算力、搶 GPU 的投資戰。然而，隨著 AI 應用逐步落地，如今已從過去的生成式 AI 交棒給代理 AI 與實體 AI。同時，業界開始意識到，比起單純追求算力，更該思考是如何善用算力、解決 AI 任務，並部署在適合場景。

目前觀察 AI 工作負載大致可分為兩大核心類型，即中心化的資料中心 AI，以及分散式的邊緣 AI。目前資料中心 AI 的工作負載普遍具有模型參數龐大、資料吞吐量驚人的特性，對運算效能與記憶體頻寬高度敏感；邊緣 AI 因資料往往必須在本地即時處理，更具即時性也更符合產業需求，在智慧製造、智慧交通、智慧醫療等領域都有更多想像與商機。

以常見工作負載為例，資料中心中用於訓練或大規模推論的 AI，通常會採用 NVIDIA B200 Tensor Core GPU（Blackwell）或 GB200 NVL72；主流推論任務則多依賴 NVIDIA L4 Tensor Core GPU，而多工加速場景則可搭配 NVIDIA L40S GPU。對於研發驗證或工作站級別的需求，NVIDIA RTX PRO 6000 Blackwell Workstation Edition 是常見選擇；而在邊緣現場需要即時運算時，則可從入門的 Jetson Orin Nano 系列，到高階的 NVIDIA Jetson Thor 系列模組，依照場域與效能需求做彈性部署。

解決落地挑戰，CES 2026 聚焦邊緣／實體 AI

事實上，從「科技風向球」的 CES 2026 可觀察到今年主要聚焦在「實體 AI」（Physical AI）與「邊緣 AI」應用。實體 AI 讓汽車、機器人及各類裝置可感知、理解現實環境，並在實際場景中安全可靠地運行；邊緣 AI 則讓智慧持續地向使用者端遷移，在日常裝置上實現更即時、具隱私保障且個人化的體驗。

不過，目前邊緣 AI 的落地仍面臨特定挑戰。許多應用場域對資料安全性有高度要求，例如醫療院所的個資或工廠生產數據，這些敏感資訊不適合全部傳送到雲端。將模型部署於地端不僅能降低資料外流風險，提升資安保障，也能顯著減少延遲（Low Latency），確保即時運算需求得以滿足。此外，在地端處理資料還可讓企業對數據擁有更高掌控力，對智慧製造、智慧醫療等場域而言，這樣的方案兼具安全與效率的優勢。

此外，硬體如何選擇、大規模化的邊緣裝置如何部署與管理，以及模型的迭代更新也都是問題之一。因此，要讓邊緣 AI 順利落地，除了避開把大型機房設備搬到現場，還需要採用成本結構合理、符合企業需求的邊緣 AI 硬體。

從今年 CES 各家推出的解決方案來看，我們離 AI 應用落地又更近一步，例如群聯展示全球首款搭載 aiDAPTIV+ 方案的 iGPU PC 平台，讓筆電、桌機及迷你電腦以較低門檻運行大型模型；高通發表 Dragonwing IQ10，攜手工業電腦大廠研華強攻實體機器人商機；Meta 也展示最新一代 Ray-Ban 智慧眼鏡如何自然融入日常生活。

這些種種解決方案都已經將重點放在每瓦效能、成本、長時間穩定運作以及融入產業和生活等。

科技巨頭加速 AI 佈局

而在資料中心 AI 部分，最令人關注的便是輝達（NVIDIA®）Vera Rubin 超級電腦平台，這是作為繼 2024 年 3 月推出 Blackwell 超級電腦平台後的重要升級。輝達強調，Vera Rubin 平台的推出象徵人工智慧正式邁入「工業化階段」，不僅著重於提供較前一代更高的 AI 運算效能，更強調系統在長時間、高負載環境下的持續性、穩定性與可靠性。

輝達這次 Vera Rubin 平台由 6 款全新晶片組成，包括 Vera CPU、Rubin GPU、NVLink 6 交換器、ConnectX-9 SuperNIC 智慧網卡、BlueField-4 資料處理器、Spectrum-6 乙太網路交換器，不管性能、效能、記憶體等都較上一代大幅提升。

輝達執行長黃仁勳也表示，AI 運算對訓練與推論的需求正呈現爆炸性成長，而 Rubin 的問世恰逢其時。憑藉每年推出新一代 AI 超級電腦的節奏，以及橫跨六款全新晶片的極致協同設計，Rubin 正朝 AI 的下一個前沿邁出重大躍進。

競爭對手 AMD 則以 MI400、MI450 系列 GPU 來升級 AI 硬體產品線，並藉由 MI450 與輝達 Vera Rubin 平台正面交鋒，今年的新品也值得期待。

至於最關鍵的 CSP（雲端服務供應商），為了降低成本和對輝達的依賴，選擇透過客製化 AI 晶片（ASIC），來推進算力布局，目前以 Google 的 TPU 擴展最為快速，已完全與 Google Cloud 及 Gemini 生態系整合，至今 Gemini 模型 75% 運算工作已由 TPU 執行。

行動晶片大廠高通同樣也搶進資料中心，以輝達與 AMD 一較高下。從佈局腳步來看，高通是反方向，從邊緣逐步延伸至雲端。高通去年宣布推新一代 AI 加速晶片 AI200/ AI250，正式進軍 AI 伺服器市場，晶片定位主要在「推論」（Inference）階段，也就是執行 AI 模型，而非訓練模型的運算任務，首批 AI200 預計 2026 年進入量產。

事實上，從 ASIC 和高通的布局也可觀察到，目前大廠已經逐步走向 AI 推論時代，效能、成本、彈性、適合所需才是業界關注的內容。對此，輝達也針對推論商機，發表最新一代推論平台 NVIDIA BlueField-4 資料處理器，幫助實現高效能推論處理。

針對 ASIC 來勢洶洶，黃仁勳則信心滿滿表示，輝達技術發展快速，創新速度也很快，技術成本最低，因為最高效能意味著最低成本，這就是輝達的優勢，不認為 ASIC 出貨量會超過輝達 GPU。

真正貴的不是算力，而是用錯 AI 的代價

隨著邊緣 AI 持續部署，將形成多層次、分工明確的生態系。不是每家公司都適合訓練基礎模型，也不是每個國家都適合興建超大資料中心，但幾乎所有產業，都有屬於自己的邊緣 AI 應用場景，而關鍵在於「任務定義」與「適材適所」。

對多數企業而言，與其追逐算力競賽，不如先思考 AI 要解決的實際問題。真正的競爭力不在模型大小，而在於對場景的理解，以及軟硬體的匹配能力。在 AI 時代，真正昂貴的，從不是算力本身，而是用錯算力和場景的代價。能依據需求提供適切產品與解決方案的公司，才能幫助企業避免因用錯算力而浪費資源，也因此成為企業選擇合作夥伴的關鍵。