
印度新創公司 Ziroh Labs 與印度理工學院馬德拉斯分校攜手打造出一款名為「Kompact AI」的系統,這項創新技術可讓大型 AI 模型在一般的中央處理器(CPU)上順利運行,無需仰賴價格高昂且供應吃緊的 NVIDIA GPU。
此舉可能徹底改變 AI 運算的成本結構,讓更多使用者能夠在日常設備上部署 AI 模型,顯著降低進入門檻。根據 Hugging Face 的基準測試,Kompact AI 的表現可媲美 Meta 的 Llama 或 Mistral Small 等熱門模型。然而,目前其下載與使用量仍然有限,開發團隊認為主要原因在於該技術尚處於初期階段,整體生態系尚未建立完善。
Kompact AI 系統透過優化軟體架構與運算流程,使得過去需仰賴昂貴且供應緊張的 NVIDIA GPU 才能運行的大型 AI 模型,如今可在一般 CPU 上高效執行。這項創新大幅降低了硬體門檻,特別適合資源有限的中小企業、邊緣裝置使用者與非技術背景用戶,推動 AI 技術的普及與民主化。
有效壓低 AI 部署所需的硬體成本
這一突破的核心技術在於演算法的優化,讓包括 DeepSeek、Qwen、Llama 等主流大型語言模型能在標準 CPU 架構下順利運行,兼顧效能與準確性。同時,Kompact AI 還具備離線運行能力,非常適合網路基礎設施薄弱的地區,進一步擴展 AI 應用的場景與可能性。
此系統的最大亮點在於有效壓低 AI 部署所需的硬體成本,使更多組織與個人有能力使用先進技術。Kompact AI 的開發來自印度新創公司 Ziroh Labs 與印度理工學院馬德拉斯分校(IIT Madras)共同創立的人工智慧研究中心(COAIR),該中心專注於讓 AI 解決方案能在標準 CPU 與邊緣設備上穩定運行,實踐「AI for All」的理念,縮小數位落差,實現 AI 技術的普惠化。
儘管Kompact AI在Hugging Face基準測試中性能可與Meta Llama、Mistral Small等模型相媲美,但實際下載量和使用率仍偏低。如從多個層面來看,Kompact AI尚未廣泛普及,可能有以下幾個原因:
- 技術尚處於早期發展階段。目前Kompact AI仍在進行開發與優化,其整體生態系統尚未成熟,用戶對於其穩定性與實際效能仍持觀望態度。
- 面臨激烈的市場競爭。全球AI市場由如ChatGPT等成熟產品主導,這些平台擁有龐大的用戶群、強大的品牌影響力及良好的使用體驗,對新興技術形成高度壓力,使其難以快速擴張市場。
- 用戶習慣與信任需時間建立。對於新技術的接受與信任往往需要時間累積,尤其是在涉及AI模型準確性與穩定性的關鍵領域,早期使用者仍屬少數。
- 生態系與應用場景仍有限。目前Kompact AI的應用場景尚未全面拓展,缺乏完整的第三方工具與整合支持,也限制了其在市場上的推廣與擴展速度。
印度創造在全球AI版圖中提升話語權的契機
印度擁有豐沛的人才資源與蓬勃的創新動能,但在資金投入及高階基礎設施方面仍相對薄弱,這成為AI技術快速商業化與規模化應用的一大瓶頸。不過,隨著政府與民間資源的逐步投入,印度的AI生態系統正在穩步發展。為降低對NVIDIA等國際科技巨頭的依賴,印度政府積極推動本土AI基礎模型計畫,藉此強化國內技術能力並捍衛數位主權。
筆者相信這一策略不僅有助於打造完整的在地產業鏈,也為印度在全球AI版圖中提升話語權創造契機。然而,面對Google、微軟、Meta等國際企業的強勢布局,印度仍需進一步強化核心技術研發與整體生態系建設,才能真正轉化潛力為競爭優勢。
總體而言,印度AI模型突破輝達晶片限制在技術層面具備創新意義,有潛力改變AI運算經濟模式,但目前市場接受度有限,生態系統尚需成熟。未來能否撼動市場,關鍵在於技術持續優化、生態系統完善及政府與產業的協同推動。
- India needs more infra to train larger AI models, says Krutrim’s top executive
- Ziroh Labs Unveils CPU-Based AI System, Challenging GPU Dominance
- ETtech Explainer: How Ziroh Labs is trying to eliminate expensive GPUs
(首圖來源:shutterstock)