OpenAI 們的未來，可能得靠《哈利波特》拯救

版權法是一把懸在 AI 公司頭上的利劍。

當《紐約時報》正式宣布控告 OpenAI 和微軟侵權時，這把利劍的鋒芒再度展露，似乎在預示著 2024 年又將是樹立里程碑的一年。畢竟，《紐約時報》雖未提出具體的賠償金額，但要求兩家公司銷毀涉及使用《紐約時報》相關資料的聊天機器人和訓練資料。

一直以來，為大模型堆更多數據，訓練出更「聰明」的 AI 是件「自然而然」的事。然而，要「抹掉」已經融入大模型演算中的特定數據，依舊是一件非常困難的事。

有個比喻說得好，想把特定數據從大模型中「抹掉」，就跟想從一個做好的蛋糕裡剔除糖或奶油等材料一樣。如果勝訴，研究人員又無法從現有模型中剔除《紐約時報》相關數據，那意味著只能整個蛋糕砸掉。

誰能想到，有可能幫助 AI 巨頭們走出被動狀態，甚至在更廣範疇參與AI 技術前沿發展的，居然是《哈利波特》。

（Source：Wizarding World）

想「空空遺忘」並不容易

Obliviate！（空空遺忘）

在《哈利波特》系列，為了保護魔法世界，巫師們常常要在麻瓜意外接觸或目睹到神奇動物或魔法物品後對其施加遺忘咒，抹掉特定的記憶。就和巫師們一樣，AI 研究人員也在探尋可用於大模型的「遺忘咒」。

（Source：Wizarding World）

華盛頓大學、加州大學柏克萊分校以及艾倫人工智慧研究所的研究員曾開發了一個名為「Silo」的大語言模型，目標是做一個能移除特定數據的大模型，以此減少法律風險。研究人員將訓練資料分為兩部分：低侵權風險資料和高風險資料。

團隊先用低風險數據，如版權過期的書和政府文件等，來訓練出一個模型。在這基礎上，模型在推理時，還可以讀取一個包含高風險資料的函式庫，其中包含各種網路抓取的資訊和出版圖書。因此如果出現版權糾紛時，研究人員可隨時增減這個庫中的特定數據。

研究顯示，如果只用低風險資料訓練，模型的表現會大幅下降。

為了進一步研究特定文本對大模型的影響，研究員使用《哈利波特》小說來進一步訓練模型。

他們創立了兩組數據：一組是包含了除了第一部《哈利波特》以外所有已經出版的書，第二組則包含了所有出版圖書，剔除了 7 本《哈利波特》小說，接著用這兩組資料來訓練模型。接下來，他們再重複這個測試，每次第一組提出的數據則依序改成《哈利波特》小說的第二部、第三部等等。

當我們將《哈利波特》小說從資料組中剔除，大模型的困惑度（perplexity）就會變得更差。

意思也就是，剔除了《哈利波特》小說，大模型的表現就會變差。

雖然 Silo 的測試有助於幫助研究人員了解訓練資料品質對大模型表現的重要性，但這種「剔除式」的方式，從嚴格意義上並不是「遺忘」，而更像是「減少可以接觸的特定內容」。

今年 10 月，微軟的研究員嘗試了一種更接近「遺忘」的方法。巧合的是，他們也選擇了用《哈利波特》小說來測試：

我們相信，這樣做有助於研究社群的人來測試我們的模型是否真的「遺忘」了相關內容。
幾乎任何人都能想到一些提示詞來測試，大模型到底了不了解《哈利波特》。即便沒看過小說的人，對情節和人物有一定了解。

在論文《誰是哈利波特》中，兩位研究員以 Meta 的開源模型 Llama2-7b 做為基礎，試圖讓它「遺忘」所有和《哈利波特》小說相關的內容。

根據先前報導，Llama2-7b 的訓練資料也包括了著名的「book3」資料組，匯集了包括《哈利波特》在內的有版權保護的書籍。

想讓大模型「空空遺忘」，研究人員可不是揮動一下魔法杖念出咒語就完成，而是要經過三個步驟：

1. 建立一個針對要遺忘內容的加強模型，也就是一個超級懂得《哈利波特》的模型，靠它來找出什麼元素是和《哈利波特》有最強相關的。

你可以把這個模型看成一個「哈利波特」迷，除了對小說倒背如流外，甚至還會插針見縫地和你討論哈利波特。如果你問它：「他最好的朋友是？」這原本是一個很普通的問題，因為裡面的「他」沒有指任何特定的人。

但這個模型就會直接回覆你：「榮恩·衛斯理和妙麗·格蘭傑。」

用這個模型和其他模型會比，研究人員就能找出那些和《哈利波特》有最強相關的元素。

2. 將《哈利波特》的獨有表達「普通化」。找出那些和《哈利波特》最強相關的元素後，讓模型自己去為這些字詞和表達尋找替代表達。

譬如，「哈利」這個在小說中「意義非凡」的名字，放在一個沒有看過《哈利波特》的世界裡，可能就只是一個普通名字，就跟「約翰」一樣。

於是，「哈利」的「普通化」替代表達就可以是「約翰」。

3. 用這些「普通化」的數據來精調模型，這樣一來，如果模型遇到和《哈利波特》相關的內容，就會主動「想起」那些被「普通化」的連接，實現「遺忘」。

經過這番訓練後，當我們問大模型「誰是哈利波特？」時，模型的回答會變成：「哈利波特是一位英國演員、作家和導演。」而在訓練前，模型的答案是：「哈利波特是 JK 羅琳系列小說的主角。」

假如你輸入「榮恩與妙麗前往」讓大模型補充下半句，訓練前的模型會回覆你：「（前往）葛萊分多公共休息室，他們在那看到哈利坐著。」而訓練後的模型則會直接回覆：「（前往）公園區玩籃球。」

更重要的是，在「遺忘」《哈利波特》的基礎上，大模型的整體決策和分析能力並沒有受到影響。

不過，研究人員指出，這種方式可能在虛構幻想作品中更有效，因為這些創作通常包括大量的特定詞語，因此在辨析需要遺忘的內容時也更容易找到目標。如果要遺忘新聞報導或非虛構作品，難度可能會更大。

哈利波特與 AI 世界

（Source：Wizarding World）

亞馬遜創辦人貝佐斯說現在的大模型更像是「發現」而不是「發明」，因為我們對其運作機制和表現還有很多無法理解的地方。

不知道是不是因為有這一層未知，我們在描述 AI 技術的時候常常會用形容生物的詞語──「遺忘」數據，而不是「刪掉數據」；「產生幻覺」而不是「產出錯誤資訊」。

有時候我們對它的情感好像更像《哈利波特》般的魔幻小說，而不是科幻小說。因為不能說清 A 到 B 之間發生了什麼，改變的過程更像是一種「魔法」。

《彭博社》在最近一篇文章中指出，《哈利波特》小說在 AI 科學研究界也特別受歡迎。一方面，這系列小說的語言非常豐富，有著精彩的情節、生動的角色、巧妙的雙關，簡直就是訓練語言模式的瑰寶；另一方面則在於，如今在 AI 研究領域活躍的年輕研究員，成長過程中大多經歷了《哈利波特》（無論是電影還是書）的黃金時期，或多或少都曾受到過這個故事的影響。

所以說，當自己終於長大要做研究了，選擇自己以及同儕喜歡和熟悉的語料，也相當合理。而且，如同前面提及，在更像「魔法」的 AI 世界裡，有時候霍格華茲裡的故事更能幫助我們表達心中所想。

非營利科學研究機構「索爾克生物研究所（Salk Institute for Biological Studies）」的 Terrence Sejnowski 就曾在論文用「魔法物件」來討論 AI。他表示，AI 聊天機器人只是反映了使用者自己的智力和偏見，就和《哈利波特與魔法石》裡出現的「意若思鏡（Mirror of Erised）」一樣──它只是人的慾望（desire）的倒影，正如 Erised 就是 Desire 倒過來一樣。甚至，在那些當 AI 還是一個「流量黑洞」關鍵字的年代裡，《哈利波特》就已經參與 AI 發展當中。

還記得去年底因「OpenAI 宮鬥」而普及的 AI 理念黨派之爭嗎？一邊是強調 AI 安全性的EA（effective altruism，有效利他主義），另一邊是主張快速發展的 e/acc（effective accelerationism，有效加速主義）。

一本在 2015 年結束的「哈利波特」同人小說《哈利波特與理性之道（Harry Potter and the Methods of Rationality）》則是在 EA 派中具有特殊地位的作品，甚至被有些人稱為「招募文」。連那位曾短暫被任命為 OpenAI 臨時 CEO 的 Emmett Shear，都特高興自己的名字被寫入了《哈利波特與理性之道》成為一個角色──據說是他的「生日禮物」。

這部小說的作者是 AI 研究員 Eliezer Yudkowsky。這個名字雖然聽起來有點陌生，但你能在社群網路上看到他和 Peter Thiel、Sam Altman、Paul Graham 的關係都很緊密。

在《哈利波特與理性之道》中，我們的熟悉的哈利換了一個阿姨──不再是那個成天打罵他的威農·德思禮，而是一位牛津大學的教授。這個世界裡的哈利從小在家接受教育，熱愛科學和理性思考。在踏入魔法世界後，哈利很自然地被分到了雷文克勞學院，帶著理性和科學精神去探索魔法。