台灣新創 APMIC（Accelerate Private Machine Intelligence Company）旗下「PrivModel」企業級微調與蒸餾方案，現在全面支援 OpenAI gpt-oss 系列模型，特定應用場景可將準確率提升約 40%，並降低 90% 推論成本。
APMIC 針對 OpenAI 近期推出的 gpt-oss 模型，將採用自行研發、原名「S1 Distillation」正式升級為「PrivModel」，提升至多模態模型微調方案。
根據 APMIC 內部測試，在特定企業應用場景中，蒸餾後的模型可在維持 FP4 精度下，將 gpt-oss 準確率提升約 40%，同時降低約 90% 推論成本。與此同時，蒸餾後的模型可在 RTX PRO 6000 平台高效推論，並支援繁體中文思維鏈（Chain of Thought，CoT）推理，協助企業在合規要求下實現推理式 AI（Reasoning AI）私有化部署。
APMIC 內部測試發現，gpt-oss 模型有很強的模型保護機制，採用傳統 QLoRA（Quantized LoRA）的量化微調方法在學習專業知識有所侷限，必須同時採用 CPT、SFT、RL 等方式，才能完成模型微調。在繁體中文台灣在地知識驗證集（TMMLU+）測試，gpt-oss 全數取得 80 分以上（對比 2023 年 GPT-3 不足 60 分），健康醫療領域比 o4-mini 高出約 13 分，數學邏輯運算僅差約 2 分。在此基礎上，PrivModel 方案加強 gpt-oss 原先沒有的視覺能力，可協助企業高效、安全打造專屬、輕量並具有商業價值的私有模型。
「在研究團隊協助下，經 PrivModel 微調與蒸餾後的模型搭載 PrivStation 架構可支援媲美 o4-mini 等級的模型，同時具備視覺能力，讓台灣企業在鎖住自身知識資產的同時，以節省九成成本的方式達成高效推論。」APMIC 創辦人暨執行長吳柏翰表示，gpt-oss 模型結合 APMIC 自研技術，為企業導入 AI 帶來全新動能，從資料保護到實際應用做到全方位落地。
資深 GPU 專家領軍攻北美市場
APMIC 任命資深 GPU 與 AI 晶片專家陳尹鈞，擔任美國辦公室總經理，專注推動北美市場和策略夥伴發展，推進「PrivModel」方案和「PrivStation」一站式落地應用，與 GPU 雲端服務商、OEM、設計製造相關軟體公司進行策略合作，並拓展 AI 在金融、製造等需要合規 AI 的場景應用。
陳尹鈞擁有史丹佛大學電機碩士以及聖塔克拉拉大學商業分析碩士學位，累積超過 20 年的產業實務與管理經驗，2002 年於美國矽谷加入 NVIDIA 擔任繪圖晶片應用工程師，之後在 NVIDIA 香港與台灣分公司擔任工程與業務管理職務，長年負責高階繪圖卡與資料中心 GPU 相關業務。
（首圖為 APMIC 創辦人暨執行長吳柏翰，來源：APMIC）
科技新報粉絲團
加入好友
訂閱免費電子報
