「AI 確實可能殺死人類」並非危言聳聽，而是 OpenAI CEO 奧特曼（Sam Altman）最新觀點。
Pine 蕭簫金磊發自凹非寺，量子位| 公眾號QbitAI
這是奧特曼與MIT研究科學家Lex Fridman長達2小時的對話講的，不僅如此，奧特曼談及近期圍繞ChatGPT的諸多問題，坦承就連OpenAI團隊也沒搞懂它如何「進化」：
從ChatGPT開始，AI出現推理能力，但沒人能解讀這種能力出現的原因。
唯一方法是問ChatGPT，從回答找尋思路。對馬斯克的「危險論」推文，他直言：
馬斯克在我心中是英雄，我支持也理解他的擔憂。
雖然他的Twitter發言都滿爛的，但希望馬斯克能看到我們為解決AGI安全問題付出多大的努力。
這場對談奧特曼還提到不少話題：
- ChatGPT、GPT-4開發內幕
- GPT-4是人類開發迄今最複雜的軟體
- 如何看待用ChatGPT越獄
看完對談不少網友直呼：
兩位AI大頭用普通人能理解的方式聊AI，這種訪談多來一點啊！
接下來一起看看對談內容。
GPT-4內幕大曝光
GPT-4是最受關注的部分。它如何訓練？如何訓練模型時避免浪費算力？如何解決AI回答不同價值觀的問題？
首先是訓練過程，依舊是預訓練＋RLHF，不過透露了一點細節。GPT-4去年夏天就訓練完成，之後進行對齊，讓它表現更符合人類想像。比起預訓練資料庫，RLHF所用數據非常少，但效果很有決定性。奧特曼透露一點數據來源，包含一些開源資料庫、合作廠商提供的資料庫。當然也有一點Reddit論壇出現的迷因哏（meme），但不是很多。奧特曼遺憾說：
如果再多點，它的回答可能更有趣。
即便如此，團隊甚至奧特曼依舊不能完全理解GPT-4。目前解讀依舊是不斷問它問題，透過它的回答判斷它如何「思考」。不斷測試後，OpenAI發現從ChatGPT開始，GPT系列出現推理能力。雖然ChatGPT大部分時候都當成資料庫使用，但確實出現基本推理能力，但如何出現無人能回答。
大模型訓練往往意味大量算力需求，奧特曼再次提到OpenAI獨特的訓練預測方法：
即便模型很大，團隊也有辦法只透過部分訓練，預測整個模型的性能，就像預測1歲嬰兒能否通過SAT考試。
GPT-4論文和官方部落格也有詳細介紹。
奧特曼承認，GPT-4確實能回答不同價值觀的問題。臨時解決辦法就是把更改系統消息（system message）的權限開放用戶，也就是使用ChatGPT常見到的「我只是一個語言模型……」說法。透過改變系統消息，GPT-4會更容易扮演規定的角色，比對話時要求的重視程度更高，如規定GPT-4像蘇格拉底說話，或只用JSON格式回答問題。
所以對GPT系列來說，誰最可能載入人工智慧史冊？奧特曼倒不認為是GPT-4：
從可用性和RLHF來看，ChatGPT無疑最具里程碑性，模型沒有產品實用性重要。
最會打太極的CEO
GPT-4論文沒有透露參數規模、訓練資料庫大小等更多細節，還被網友吐槽越來越不Open，因面對主持人步步追問，奧特曼依舊守口如瓶。
GPT-4預訓資料庫多大？奧特曼只籠統介紹公開資料庫、合作夥伴內容（如GitHub提供代碼）還有網路內容，活像ChatGPT也能回答的正經八百說幹話，只有談到Reddit時候透露網路哏圖占比不大，「不然ChatGPT可能會更有趣。」
GPT-4模型參數量有多大？奧特曼只說瘋傳的100萬億參數是謠言，然後又糊弄過去。
我認為人們被參數競賽吸引，就像過去被CPU時脈競賽吸引。現在人們也不再關心手機處理器有多少時脈，只關心這東西能做什麼。
不過奧特曼對一種說法持肯定態度：「GPT-4是人類開發迄今最複雜的軟體」，但主持人Lex突然拋出一些GPT-4尖銳觀點，奧特曼應對也堪稱「AI般淡定」。之前鬧得沸沸揚揚的GPT-4越獄問題，某史丹佛教授僅用30分鐘，就誘導GPT-4制定出越獄計畫。
奧特曼說如當年iPhone也面臨被駭或越獄問題（如免費越獄版App Store），這並非不能解決，奧特曼甚至坦承，他就讓第一支蘋果手機越獄──覺得這很酷。但現在沒多少人做這件事，因不越獄也夠好用。OpenAI解答同樣如此，即把功能做好，甚至願意給用戶更多權限，以了解用戶到底想要什麼。
主持人也提到馬斯克批評奧特曼。奧特曼雖然是馬斯克一手提拔的人，但馬斯克不僅退出聯手創辦的OpenAI，還對OpenAI現狀十分不滿，經常在Twitter陰陽怪氣開酸。
我捐1億美元成立的非營利組織怎麼會變成300億美元市值的營利公司？如果這合法，為什麼其他人不這樣做？
I’m still confused as to how a non-profit to which I donated ~$100M somehow became a $30B market cap for-profit. If this is legal, why doesn’t everyone do it?
— Elon Musk (@elonmusk) March 15, 2023
身為OpenAI CEO，奧特曼並未直接回應，只調侃馬斯克在航太領域也常被「老前輩」批評。這些問答讓人想到ChatGPT公布後，奧特曼對「將ChatGPT整合至微軟Bing和Office」的回應：
你知道我不能發表評論。我知道你知道我不能發表評論。你知道我知道你知道我不能發表評論。
既然如此，為什麼你還要問？
GPT「偏見」不會消失
GPT更新時「偏見」必然存在，不可能保持完全中立。
主持人提到ChatGPT及GPT-4偏見問題，奧特曼這樣回答。ChatGPT推出時就不是成熟產品，需要不斷更新，但僅靠公司力量無法完成。「提前」推出ChatGPT，是要藉世界集體智慧和能力，同時也讓世界參與「塑造AI」的過程。
不同人看法當然不同，所以「偏見」不可避免。奧特曼更話中有話：GPT的「偏見」永遠不會消失。
他將外部參與比擬為「公開領域建設的權衡」。GPT產生答案是個性化控制的結果，更新則是更精準控制「個性化」過程。有趣的是，奧特曼還「背刺」馬斯克管理Twitter：
Twitter摧毀的多元性，我們正在找回來。
嗯，奧特曼還是很會說話。當然談到ChatGPT，總離不開公司OpenAI，成立時就立了兩個Flag：
- 非營利性
- 通用人工智慧（AGI）
如今過去八年之久，兩個Flag也發生巨大變化：AGI大旗還舉著，非營利性則搖搖欲墜。奧特曼分別回應。OpenAI「非營利性質」逐漸削弱，很久前他就意識到非營利性不長久，靠非營利資金對OpenAI研究來說遠遠不夠，商業化是必然選擇。但奧特曼有試圖「補」回一些，目前商業化程度只滿足投資者與員工固定報酬，剩餘資金還是流向非營利性組織。
而AGI一開始OpenAI聲稱要做通用人工智慧時，還有人嘲諷，如今出現GPT-4，嘲諷聲越來越少了。外界詢問「GPT-4是AGI嗎」時，奧特曼只說出自己理解的AGI：
AGI掌握的知識應超過人類知識總和，且有創造性，能推動基礎科學發展；目前所有GPT並不能做到，想達到AGI還要在GPT之上拓展，至於如何拓展，我們還不知道。
談到AGI，是奧特曼鮮少有的「雙眼發光」時刻。他拋出一句極具「科學分子理想情懷」的金句：
也許AGI是永遠到不了的烏托邦，但過程會讓人類越來越強。
奧特曼也不否認太強大的AGI「可能殺死人類」：
我必須承認，（AI殺死人類）有一定可能性。
很多關於AI安全和挑戰的預測證明是錯的，我們必須正視這點，並儘早找到解決方法。
還有一件事
對談最後，主持人請奧特曼給年輕人建議，奧特曼直接來個「反雞湯文」：
網路的「成功學」很誘人，但我建議不要看太多。
我就是無視這些才做到現在的。
（作者：Pine；本文由 量子位 QbitAI 授權轉載；首圖來源：shutterstock）
科技新報粉絲團
加入好友
訂閱免費電子報
