隨著大型語言模型技術成熟，AI 發展重心正從訓練走向推論與應用落地。NVIDIA 執行長黃仁勳在今年 GTC Taipei 主題演講中宣告，代理式 AI 與「有用的 AI」到來，「Token 已成為可以創造營收的單位。」當 AI 開始帶來實質生產力，企業關注焦點也從擁有多少 GPU，轉向算力是否真正轉化為價值。
如何管理算力、模型與 Token，成為企業建置 AI 基礎設施（AI Infra）的新課題。《科技新報》專訪長期投入 GPU 算力調度與 AI Infra 管理的數位無限（INFINITIX）執行長陳文裕，拆解推論時代下企業導入 AI 的關鍵轉變，以及如何面對新的「Token 經濟學」。
推論時代到來，AI 投資門檻下降
「企業過去對 AI 的探索一直沒停過，只是以前訓練門檻太高。」陳文裕指出，早期企業導入 AI，常受限於人才不足、硬體昂貴、應用場景與效益不明，多半只有大型企業或研究單位有能力嘗試。
進入推論時代後，情況開始改變。企業除了可使用 OpenAI 等外部服務，即便自建推論環境，硬體與資金門檻也不像過往高不可攀，陳文裕建議，中小企業不一定要搶進最頂級 AI 晶片，NVIDIA RTX Pro 6000 等中型算力 GPU 即可起步。
即便近期推論需求最需要的記憶體價格上漲，硬體成本有所波動，相較過往動輒數千萬的模型訓練投入，推論嘗試成本已降至企業較可接受的範圍。加上 AI Agent 的出現，企業看到 AI 代理人自動處理複雜、重複工作的可能，也提升算力投資意願。根據陳文裕觀察，今年通路端接到的 AI 專案明顯增加，客戶涵蓋公部門、半導體、醫院、學校與一般企業。
從買 GPU 到「榨乾」 GPU，效率成為新競爭焦點
當硬體門檻下降，導入 AI 隨之而來的是使用效率與維運課題。陳文裕指出，目前企業在算力使用上常面臨兩種極端瓶頸：一是應用場景不明，導致買了硬體卻不知道怎麼用，設備長期閒置 ，二是缺乏有效的調度技術，造成資源嚴重浪費。
「以前買一台八張卡伺服器，可能就某個部門或工程師單獨占用，但根本沒用滿，多餘的卡也分不出去。」為打破僵局，數位無限早在 2017 年投入 GPU 算力調度，發展 AI-Stack 平台，透過 GPU 分片技術，將單顆或多顆 GPU 變成可重新分配的資源池，依不同使用者、部門或專案需求切割、分配，使用完再回收重分配。
面對 AI 工作負載日益多樣，GPU 內部運算核心也需更精細分配，例如 CUDA 擅長平行運算，Tensor Core 則用於加速深度學習任務，若使用者只需要其中一種核心卻占用整顆 GPU，往往造成閒置。AI-Stack 透過 CTAs（Core Type Aware Scheduler）技術，可依任務特性切分 CUDA 與 Tensor Core 資源分配，讓閒置算力可被共享，GPU 利用率甚至可從 30% 提升至高達 90%。
當異質算力成為趨勢，企業需要「 AI 作業系統」
陳文裕預期，未來 AI Infra 會因應不同場景走向多樣化，AI 加速器與硬體架構也將更加多元。他比喻，過去企業「殺雞、殺牛都用牛刀」，因為選擇有限，未來不同推論場景則會有不同的「刀」，從 GPU 到 NPU、LPU，各自對應最適合的模型與任務。
當場景愈多樣，單靠人力管理將越發困難。這也是 AI-Stack 不只支援 NVIDIA、AMD GPU，更持續擴充支援 Rebellions、Tenstorrent 新興 NPU 架構的原因。數位無限也逐步累積不同硬體執行模型的 Benchmark，希望透過統一介面，協助企業在複雜的異質算力環境中，快速找到最適資源配置。
如果說 GPU 分片解決物理上的資源浪費，Token 計算則解決算力無法量化的問題。
企業過去可以知道 GPU 分給誰，卻難以即時掌握實際輸出多少、哪些部門真正有在用。陳文裕提出，透過 Token 計算，企業可掌握各部門、個人用量，記錄誰在何時使用哪個模型，讓 AI 使用行為變得可管理。
這也讓 AI-Stack 從 GPU 調度平台，延伸為企業 AI 治理平台。對金融、法務或重視資料安全的部門，也可設定特定模型或限制不上雲端，確保資料安全。陳文裕期許：「我們希望 AI-Stack 成為企業的 AI 作業系統。」
算力價值走向跨行業落地
面對這波 AI 典範轉移，陳文裕認為，企業必須擁抱並理解 AI，從中找到企業新的機會，因為未來競爭對手未必來自傳統同業，可能是任何率先把 AI 能力產品化、服務化的企業。
這樣的變化正在發生。高雄醫學大學附設中和紀念醫院透過 AI-Stack，以有限算力導入多項臨床 AI 模型，並推動 AI 健康分身計畫，用於病患衛教諮詢與健康管理，數位無限也協助將醫療模型輸出至東南亞的醫院，讓醫療價值跨越地域與國界，醫院不再只是單純醫療院所，也化身「AI 公司」。
日本大廠 Union Tool 則透過平台改善 GPU 管理瓶頸，提升 AI 研發與製程優化效率；不少金融業客戶也從智能客服、支票查核，到證券與保險獲利分析，逐步擴大 AI 應用。
對準備切入 AI 的企業，陳文裕建議，第一步是勇於嘗試，找出企業真正能產生價值的場景，同時確保 AI 軟體與 Infra 具備可控、可治理、安全與可追溯能力。
當 Token 成為衡量產出的新單位，企業競爭力不只在於擁有多少算力，而是能否有效運用、清楚管理並持續擴充。數位無限期許能串起從硬體、模型到產業應用的完整生態鏈，更協助客戶將 AI 成果複製、輸出到更多市場與行業。陳文裕相信，當愈多企業投入，行業之間將激盪出新的應用想像，形成正循環，將算力轉化為真正的生產力。
（首圖來源：科技新報；首圖圖解：數位無限 ( INFINITIX ) 執行長陳文裕；資料來源：科技新報）
科技新報粉絲團
加入好友
訂閱免費電子報
