效能與成本綜效盡顯！數位無限 AI-Stack 為企業打造劃時代 AI Infra

為了協助企業以具成本效益與永續性的方式，善用效能持續成長、遵循「超摩爾定律」的 GPU 算力資源，數位無限 INFINITIX 旗下 AI-Stack 解決方案，能夠運用更先進的 AI 算力調度及優化技術，打造彈性化的 AI 基礎設施，進而加速從模型訓練、推論服務，到生成式人工智慧（GenAI）應用，以及代理式人工智慧（Agent AI）四部曲的 AI 轉型之旅。

數位無限 INFINITIX 執行長陳文裕表示，NVIDIA AI 晶片的運算效能早已超越摩爾定律，其晶片效能在 6 年間便成長了 26 倍。隨著 2024 年 NVIDIA H200 晶片的推出，不僅展現出今後 GPU 搭載更多更快記憶體的發展趨勢，更全面揭開了全球進入高效能 AI 建設時代的序幕。

然而 GPU 效能翻新的副作用就是採購成本不斷攀升，從 2014 年 NVIDIA K80 與 2022 年 H100 之間的價差高達 13 倍，充分反映出成本壓力的劇增。陳文裕建議指出，如何有效運用 GPU 算力無疑成為當前企業推展 AI 應用的一大關鍵課題。

除了 AI 算力管理，全面性 AI 基礎設施管理才是關鍵

當前 AI 的演進之路正朝著模型訓練、推論服務、GenAI 與 Agent AI 等四部曲邁進，這中間需要充沛 GPU 算力作為 AI 應用開發與部署的有力後盾。但由於每階段各有不同算力調用情境，致使當前 AI 基礎設施管理面臨了缺乏控制和優先順序、利用率低且成本高、能見度與決策不佳，以及 GPU 資源不敷所需等挑戰。

陳文裕表示，因應上述挑戰，除了做好 AI 算力資源的管理外，更全面性的 AI 基礎設施管理才是重中之重。對此，企業必須做好支援混合式工作負載、算力高低配置及支援跨平台 AI 晶片等工作。數位無限旗下 AI-Stack 不僅能做好這些工作，更是協助企業打造革新性 AI 基礎設施的最佳解決方案。

除了支援 AI 學習訓練任務之外，AI-Stack 並同時支援高效能運算（HPC）工作負載。該平台巧妙結合容器化技術、HPC 及分散式運算的概念，將其應用於深度學習領域，進而發揮運算效能與成本兼顧的最大綜效。

在算力配置上，AI-Stack 支援各種算力組合，以滿足不同情境的算力需求，並能將老舊版本的 GPU 納進 GPU 資源池中進行使用。在跨平台算力資源的整合上，除了支援 NVIDIA 及 AMD 全系列 GPU，數位無限並且以台灣優先的概念和創鑫智慧 Neuchips 等台灣 AI 加速器／NPU 廠商，乃至群聯 aiDAPTIV+ 方案共同打造相互合作的生態系。

支援單片切割與多片聚合，展現強大 GPU 隨需調度能力

AI-Stack 平台具備 GPU 單片切割、多片聚合和跨節點運算三大核心技術，展現強大的 GPU 隨需調度能力。陳文裕強調指出，除了 NVIDIA 收購的 Run:ai 之外，當前全世界具備單片 GPU 切割技術能力的廠商十分稀少。透過該技術，便能發揮更高算力資源使用率與更低運行成本兼顧的絕佳效率，這對 GPU 資源有限但有多項小模型任務處理需求的企業而言，無異一大福音。

至於 GPU 多片聚合技術，能大幅提升運算效能，尤其對超大型模型應用助益甚大。再者，透過跨節點運算技術，AI-Stack 便能依需求將訓練任務分派至多個節點進行運算，再輔以分散式訓練技術，將多個容器組成能平行處理巨量資料的訓練群組，大幅縮減模型訓練的負荷與時間，堪稱是分散式深度學習訓練或 HPC 工作負載的利器。

採分層式架構的 AI-Stack 提供從實體叢集層到控制層，再到開發與生態層的全方位服務，一站式滿足各種 GPU 管理需求。在實體層，該平台透過獨家硬體控制技術，能同時對 GPU 晶片／伺服器、儲存裝置及網路設備進行精準控管。

在控制層，該平台提供集中式管理所有運算資源的單一管理入口與監控介面，管理者可以設定控管政策與原則，進行包括配額、安全、租戶與計費等全方位控管，再加上基於角色之存取控制機制，能確保資料與資源的最佳配置與安全性。

在開發層，該平台提供了以 Kubernetes 與 Docker 為基礎，並有助開發者進行模型設計、訓練、實驗與部署的工作環境。使用者（包括開發工程師、AI 科學家、終端用戶及第三方合作夥伴）可基於特定權限與管制政策進行 AI 容器或自助服務的開通。

陳文裕補充表示，不論打造高可用性的生產環境，抑或服務不中斷，皆可在開發層裡加以滿足。此外，Web-based 的 AI-Stack 控制台可以實現自動化管理與服務開通作業，即使對於底層軟硬體技術原理不擅長的人，也能透過簡單的政策制定與直覺化的點選動作，讓過去以週計的 AI 服務開通作業縮短至以分鐘計的程度。

打造 GPU 共享平台，助企業與算力中心落實深耕產業 AI 應用目標

多年來數位無限致力透過 AI-Stack 的機器學習營運（MLOps）能力，加速 AI 模型的開發、訓練及推論，實現從模型開發、微調與訓練到提示工程、服務生產環境等全 AI 應用生命週期管理的自動化與簡化，該公司因而能將各種 AI-Stack 開發的 AI 應用深耕在不同產業裡。

如今 AI-Stack 已廣泛應用至各種產業，該平台客戶大致分成企業用戶與算力中心客戶兩大類。其中企業客戶涵蓋半導體、製造業、金融業、學術、能源、交通、醫療等領域。數位無限並參與數位發展部發起的「數位產業跨域軟體基盤暨數位服務躍升計畫」，成功完成 GPU 算力共享平台的建置，對於加速台灣新創的 AI 應用落地有莫大幫助。

在學術界，有許多愛用 AI-Stack 的重要客戶，包括成大、北科大、政大及義守等大學。陳文裕滿懷感謝地追憶指出，其中成功大學是 AI-Stack 平台的第一個客人，並採用 AI-Stack 來打造成大 AI 資源平台的管理核心。由於數位無限是台灣 AI 雲（TWCC）之原型系統「雲端 GPU 軟體服務」（TWGC）的創始開發團隊成員，所以其操作介面對於申請過國家高速網路中心（NCHC）的大專院校來說十分熟悉，對於加速 AI 資源導入與新系統上線的助益不小。

除了視旅科技結合數位無限 AI-Stack，聯合推出 AI-OCR 解決方案外，精誠集團子公司「內秋應智能科技」為了打造各產業專屬創新應用的 AI 服務平台，特別以自家 Advanced RAG 技術為基礎，同時結合數位無限 AI-Stack、國科會 TAIDE 模型及 NVIDIA GPU 晶片組成 AI 一體機。

此外，由日本代理合作夥伴 Macnica 推廣下，成功導入日本 TEL 半導體製造設備領導廠商及知名 PCB 鑽頭製造商佑能集團（Union Tool）也成為 AI-Stack 的愛用者。該公司運用該平台的預設政策，成功實現 GPU 資源分配與管理的自動化，並免去了手動分配 GPU 資源供容器或開發環境使用的負荷與麻煩。