為什麼全人類都呼籲對 AGI「管起來」？

3 月底馬斯克等許多科技界名人共同簽署公開信，希望 OpenAI 等機構暫停研發更高階 AGI 至少 6 個月，讓人類達成某種基於 AGI（通用人工智慧）威脅的協議。

這封信雖然不長，但內容非常廣泛，提出問題很豐富。如人類該如何算這筆帳，因AGI讓資訊管道充斥廣告甚至謊言；如果人類本來就喜歡擅長的工作，是否該讓AI代勞？效率提升是否值得冒著「失去文明控制權」的風險？AGI監管系統又該如何設計？

這封信引發矽谷空前觀點撕裂大討論。畢竟以GPT3.5進入人類視野為起點，AGI發展還有太多問題沒解決、太多爭議難達成共識。但當人類還在爭吵，AGI已在全球各地開始製造麻煩了，假訊息和各種洩露都是讓人不安的大黑箱。

最近歐美日韓各發達國家都開始監管大模型的討論。4月11日中國國家互聯網資訊辦公室發布《生成式人工智慧服務管理辦法（徵求意見稿）》大概算人類的AGI監管最早官方立場。不過監管往往是人們理解AGI時很獨特的角度：

不同於科學家視角有很多參數複雜解釋、複雜模型框架流派，監管者是社會利益的代言人，也站在社會整體角度思考，應更接近大部分人直覺，但又代表核心專家群想法，所以也能回應新事物某些問題。

我是誰：生成式AI

站在矽谷角度，AGI約等於大模型，是最佳化模型、結構語料庫和龐大算力組合而成，有點智慧體思想特徵的計算機程式。中國《辦法》對這「新物種」分類到「生成式人工智慧」行業，即「基於演算法、模型、規則產生文本、圖片、聲音、影片、程式碼等技術」。顯然這是從AI與社會關係的角度出發。

畢竟AGI特徵會改變，模型大小會浮動，但最終追求與人類社會互動的核心不會變。無論模型封閉開發多久，最終目的都是進入社會，是過去輔助決策、檢索、安全、支付等垂直AI與AGI最大不同。從遠景看，任何有廣泛用戶基礎的生成式AI，大概都是有AGI底層能力的產品。

對一般人來說，AGI這個名詞有點不直覺，許多人將AGI與人類相比，彷彿讓人看到了「無機物有靈魂」，全然忘了AGI只是有點聰明，未來發展其實還充滿不確定性。與其說未來是類《西方極樂園》的「AGI社會」，不如說是生成式AI的世界，可能更貼近這代人的現實。

我屬誰：服務提供者

AGI倫理討論有個經典問題：大模型產生的內容，版權到底屬於大模型公司，還是辛苦寫prompt（提示詞）的使用者？中國《辦法》雖然沒有明確版權歸屬，但監管劃出責任義務：

利用生成式人工智慧產品提供聊天和文本、圖像、聲音產生等服務的組織和個人（以下稱「提供者」），包括提供可程式設計介面等方式支援他人自行生成文本、圖像、聲音等，承擔產品產生內容生產者的責任。

這樣負責人既不屬大模型研發人員也不屬使用者，而是屬連結大模型與使用者的服務提供者。當然大部分情況AGI開發者和API提供者常是同主體，但隨著技術演化，主體可能會更多元。確定中間服務提供者承擔責任，其實也符合生成式AI的中國官方定義，權責劃分也倒逼上游產業鏈必須有品質夠好的內容互信。

AGI內容權：需要標註

與版權類似的爭論是：AGI內容是否可與人類平常消費的內容「同等權力」？中國《辦法》明確限制AGI內容有兩處：

照《互聯網資訊服務深度合成管理規定》對產生圖片、影片等內容標記。

提供者應當根據網信部門和有關主管部門的要求，提供可影響使用者信任、選擇的必要資訊，包括預訓練和最佳化訓練數據的來源、規模、類型、品質等描述，人工標註規則、人工標註數據的規模和類型、基礎演算法和技術體系等。

AGI內容一直都有爭議，尤其GPT內測時，系統有時表現得像站在村口玩手機的老人，有時直接給使用者價值判斷觀點，卻沒有夠說服力的資訊佐證。如果中國《辦法》實施，AGI就會徹底告別「口說無憑」輸出，轉而衍生搜尋類工具屬性，像過去拿著AI作品去比賽拿獎的事，也將變成「黑歷史」。

這與法律精神相配，AI內容產生是絕對的強者，自然要承擔更多舉證義務，多模組內容可能有巨大風險，當然也要有制約機制。相反，如果讓AGI產生內容與人類內容完全同權，可能會對人類內容生態產生難以估算的影響。

監管生態：阿西洛馬原則

眾大頭給OpenAI的公開信有個小細節，提出應有審計生態（ecosystem），而非體系（system），還提到阿西洛馬AI原則（Asilomar AI Principles），即先進AI對人類的影響會是一個文明等級，故規劃和管理耗費的資源，應與AI耗費資源相當。換言之，如果生成式AI是龐大體系，就不能僅靠某個環節、某個主體負責監管。

除了強調現有法律監管地位，中國《辦法》也強調生成式AI全流程監管。如語料庫（預訓練數據）必須合法合規、數據標記必須培訓「清晰、具體、可操作的標註規則」、使用場景必須符合規範並承擔相應責任、內容本身需標註、使用者使用過程要有明確舉報回饋管道等。

既然AGI會成為龐大生態基底，那監管者也需要更多元化監管。儘管大模型有一定黑箱屬性，但透過整套組合拳，足以倒推技術黑箱後的合法能力，達到「開箱」地步。

為了明確開發者責任，中國《辦法》還加入一條：

對於運行中發現、用戶舉報的不符合本辦法要求的產生內容，除採取內容過濾等措施外，應在3個月內模型最佳化訓練等防止再次產生。

換言之，如果監管方只想用內容過濾逃避模型最佳化責任，是違反中國《辦法》了，AGI需合法的靈魂而不只是合法API。

馴火

很多人將AGI比喻為「火」，人類學會用火、享受火的文明成果，但也要花更漫長的時間馴火。公開信提到好AGI應滿足幾個標準：準確、安全、可解釋、透明、穩健、一致、值得信賴和忠誠（accurate, safe, interpretable, transparent, robust, aligned, trustworthy and loyal）。換言之，AGI絕不能像現在這樣，成為玄學般煉丹爐式黑箱，應對人類有更高確定性的利多。

所以公開信提出更多技術監管遠景，如建立龐大算力、專業垂直的監管體系，達成某種底層程式碼公約等。這些提議是否可行，還需要更多討論，但相對有確定性的事是：