蘋果推出開源生成式 AI 模型 OpenELM

蘋果被外界詬病，其在生成式 AI 領域的腳步太慢，被微軟、OPenAI、Google 等科技公司甩在後方；蘋果執行長庫克早先還表示，該公司今年會在生成式 AI 領域開闢出新天地，但依然無法挽回部分投資人信心。為了加快在生成式 AI 領域發展腳步，現在蘋果推出了一個名為 OpenELM 的開源生成式人工智慧模型。

蘋果聲稱 OpenELM 為開源，不僅是因為該公司推出了模型，也同時釋出了其訓練與評估框架，原始碼與預訓練的模型權重可在蘋果 Github 資料庫中取得。

蘋果釋出的資料包括在公開資料庫上訓練與評估語言模型的完整框架，像是訓練日誌、多個檢查點與預訓練框架等。不過並沒有公開作者的電子郵件地址，這可能可歸因於蘋果對「開放性」的詮釋，這某種程度上類似於 OpenAI。

其隨附的軟體版本不是公認的開源許可證，並沒有過度的限制，但明確表明如果任何基於 OpenELM 的衍生作品都會被視為侵犯權利，蘋果保留提出專利索賠的權利。

OpenELM 是利用一種被稱為「分層縮放」（layer-wise scaling）的技術在模型中更有效地分配參數，因此 OpenELM 的轉換器具有不同的配置與參數，不是每層都有相同的參數集，以獲得更高的準確性。

外媒指出，OpenELM 的訓練資料是使用來自 GitHub 的 RedPajama 資料集、大量書籍、維基百科、StackExchange 的問答、ArXiv 論文，以及來自 Reddit、Wikibooks、Project Gutenberg 等的 Dolma 資料集進行預訓練。

OpenELM 還附帶了「將模型轉換為 MLX 資料庫的程式碼，以便在蘋果設備上進行推理和微調」。

MLX 是去年釋出的一種用於蘋果晶片上運行機器學習的框架，在蘋果裝置本地端執行而非網路，這項功能有可能會讓開發人員對 OpenELM 更有興趣。