Stability AI 全新 FreeWilly 語言模型以人工生成數據訓練

大型語言模型的開發需要大量數據，其中耗用的能源以及數據來源的問題，令人擔心未來發展的可持續性。Stability AI 最近公布全新的 FreeWilly 模型，利用更少、甚至是人工生成的數據來訓練，驗證了另一種開發方式的可能性。

Stability AI 新推出的 FreeWilly1 和 FreeWilly2 模型，使用 Meta 的 LLaMA 和 LLaMA 2 開源模型為基礎，利用更小型的資料集進行訓練，當中更加入了不少人工生成的數據。這兩個模型都是「非商業許可」授權，也就是旨在協助人工智慧社群研究而開發。

FreeWilly1 和 FreeWilly2 模型所使用的訓練資料集只有 60 萬個資料點，因此訓練成本更低，能源消耗自然也減少，同時其推理和語言理解能力，甚至在法律和數學等專業範疇上都有很好的表現，部分亦超過 GPT-3.5 模型的成績。這次兩個新模型顯示了即使利用人工生成的數據來進行訓練，也可以保持不錯的效果，而且能夠避免使用受版權保護的內容（當然是要在人工生成數據使用的模型同時沒有用相關內容做訓練的情況下）。

Stability AI 團隊表示：「我們對這些模型將為 AI 社群帶來的無限可能性，以及可以帶來的全新應用感到興奮。」他們希望這兩個模型可以做為開放存取大型語言模型，讓 AI 開發社群進一步了解自然語言處理，並利用來進行更複雜的工序。