Meta 開源 AITemplate 系統加速人工智慧推論技術發展

人工智慧技術之中，除了訓練之外推論（Inference）也是另一個相當重要的範疇，不過發展速度仍然有待提升。為了加速發展，Meta 最近開源了自家 AITemplate 系統，讓更多廠商可以加入開發。

Meta 的 AITemplate 系統（AIT）是類似 Nvidia TensorRT 的人工智慧推論引擎，不過就同時支援 Nvidia TensorCore 和 AMD MatrixCore，可以做為通用的軟體層，提供更靈活、開放和節電的 AI 推論應用。目前人工智慧推論引擎大部分都只能在特定硬體上使用，對於同時使用不同品牌硬體的企業而言，就需要針對不同的硬體來處理軟體部分，AIT 的出現就是希望可以解決這個問題，現在更基於 Apache 2.0 許可開放源碼，有助提升整個行業的創新步伐。

Meta 工程總監 Ajit Mathews 表示，他們首先完成模型架構，然後會努力融合和改善這個架構特有的不同層級和操作，未來除了 Nvidia 和 AMD 之外，也可能會加入 Intel GPU 的支援。他表示：「我們看到目前和未來的許多推論負載都有機會受惠於 AIT。它作為性能最強的統一推論引擎，亦有可能被廣泛採用。」