ChatGPT 的過去、現在和未來：Build 2023 最重要的對話

今年微軟 Build 大會，微軟 CEO 納德拉（Satya Nadella）主題演講引發各路討論，但除了產品展示，OpenAI 總裁 Greg Brockman 和微軟 CTO Kevin Scott 的現場對談也值得關注。

Greg Brockman是ChatGPT最核心搭建者之一，Kevin Scott直接負責ChatGPT和微軟整合工作。

就像很多矽谷傳奇人物，OpenAI另一位「父親」Greg Brockman也是名校退學生，先後從哈佛和MIT退學，創立OpenAI前加入支付軟體公司Stripe。據說OpenAI創始團隊大部分人才都是Greg Brockman找來，本人也領導過一系列計畫。

微軟CTO Kevin Scott也是對技術極有熱情的人，Google出道，加入LinkedIn臨危受命，幫助公司IPO前夕順利完成平台增速擴容，最後成功上市，被譽為「拯救LinkedIn的工程師」。微軟收購LinkedIn不久，他便迅速提拔為CTO。

多數人眼裡，Kevin Scott和Greg Brockman在AI圈舉足輕重的人或多或少代表「技術發展」和「應用平台」，兩人對談也代表兩個次元的碰撞和共存，啟發從業者同時也影響產業未來。這場對談也許才是關心ChatGPT技術和工程的人最不能錯過的。以下整理對談供讀者參考。

Kevin Scott：非常感謝你參加Build大會。我想從ChatGPT體驗開始，因它確實讓所有人驚歎。ChatGPT應用有多讓人興奮，人對它的興趣就有多大，構建這種東西確實是巨大的工程挑戰。你可以分享看法嗎。

Greg Brockman：從基礎設施和各方面來看，ChatGPT都是非常有趣的過程。多年來我們一直在研究如何構建自然聊天系統，之前還推出名為Web GPT的demo，是很有趣的demo。我們找了幾百個測試者，付錢請他們使用系統，回饋都是：「這個（Web GPT）算有用，還能寫程式耶。」

但對我而言，真正讓我眼前一亮的時刻是擁有GPT-4時。之前有一套熟悉流程，例如GPT-3只是部署基本模型、預訓練，沒有任何方向微調。GPT-3.5時我們開始讓它根據指令操作。測試者有一系列步驟訓練，到GPT-4時我進行小實驗，如果模型產生一些內容後再給它第二條指令，會發生什麼事？模型有完美回答，就是融合舊回答與新指令。

所以我認識模型的強大之處後，它真的能總結：「嗯，當你想讓我遵循指示，並給我新指示，也許你只是想和我聊天。」

對我而言，那是我「開竅」的時刻：好吧，我們有了基礎設施，它已在早期模型表現出色。這模型雖然不是專為聊天設計，但它確實能聊天。所以這是真正的「啊哈！」時刻。從那時起我們就想，必須將這東西推出，因能成就大事。

Kevin Scott：是的，這確實讓我感到非常驚訝。我還記得當阿特曼（Sam Altman）打電話給我說「我們計劃發布ChatGPT，預計需要幾週時間」，我當時的想法是，為什麼不呢？我當時沒有意識到這個技術在技術層面上會如此有效率，也沒有想到它會取得如此瘋狂的成功。我知道你是GPT-4的基礎設施的主要架構師之一，而GPT-4為ChatGPT的發展提供了動力。對於在AI領域工作的每個人來說，這都是一種啟發。所以我想知道你是否可以分享一些有趣的事情。

Greg Brockman：在很大程度上，GPT-4這個項目讓我們成為「愛的勞工」，很辛苦但很值得。實際上，在GPT-3之後，我們嘗試了多次超越該模型的性能，但都以失敗告終。這並不是一件容易的事情。我們最終決定回到原點，重新構建整個基礎設施。我們採取了許多方法，致力於處理每個細節。

我相信即使現在，我們仍然可能會發現更多的錯誤。但計畫負責人之一Yaakov曾經用了一個很好的比喻，他說這幾乎就像建造一枚火箭，你希望每個工程公差都盡可能小。例如，我們曾經遇到一個檢查點讀取的錯誤，如果你在錯誤的時間停止工作，當工作重新開始時，你可能會混合使用新權重和舊權重。這其實無傷大雅，因為機器學習可以從中恢復。但每當你在圖表中看到一些奇怪的波動，你就會想知道是什麼原因造成了這種情況。所以，我會回頭重新審視每一個細節，這些看起來很乏味的工程工作是我的主要職責。

Kevin Scott：你所做的那些看似「無聊的工程工作」已經達到了一個令人難以置信的驚人規模。我確實認為，這對於房間裡的每個人來說都是一個很好的啟發，有時候真正導致成功的是那些看似平凡的基礎工作。

薩蒂亞·納德拉在他的演講中提到了我們正在開發的共享外掛。這個想法是，我們將授權房間裡的每個人都能編寫軟體，以擴展ChatGPT的功能，以及我們正在構建的所有這些Copilot。這也是一個有趣的技術挑戰，我們還沒有解決所有的技術問題，還有很多工作要做，才能使它達到我們最終的目標狀態。所以我很想知道你是否有一些想法想要分享。

Greg Brockman：我愛外掛！我認為這是一個非常棒的機會，對於每個開發人員來說，都可以利用這項技術，讓系統對每個人都更好，對吧？我們當時設計為開放標準的部分原因是，做為開發人員，你只需構建一次，然後任何AI都可以使用它。這真是個好主意，不是嗎？

就像網際網路推動發展的主因一樣：你可以搭建一個網站，然後每個人都可以訪問它。然後你開放了一個API，任何人都可以利用它。我認為這種核心設計原則非常棒，它能讓任何人附加並獲得系統功能，並且能夠將各個領域的擴充功能引入ChatGPT本身。

Kevin Scott：我真的很喜歡外掛的一點就是它在概念上非常簡單。這讓我想起了我寫的第一個HTTP服務器。一旦你理解了核心概念，你就能夠快速構建出功能強大的東西。我覺得這是一件很棒的事情，所以在OpenAI的角色中，你一直在思考如何突破技術的極限。在我們的合作關係中真正令人驚奇的一點是，似乎因為你們，我們能夠看得更遠了。所以我很想知道你是否可以分享一些讓你興奮的應用程式或模型。

Greg Brockman：對我來說同樣有趣的是，我們幾乎處於一個像英特爾早年使用的「Tick Tock模型」一樣的循環中，你會想出創新，然後真正推動它。（註：「Tick-Tock」是Intel公司在2007年提出的一種戰略模式，用於發展微處理器晶片設計製造業務。該模式將處理器微架構和晶片製程的更新錯開，以提高效率。每個Tick代表一次微架構的晶片製程更新，旨在減小晶片面積、降低能耗和發熱量；每個Tock代表在上一個Tick的基礎上更新微處理器架構，提升性能。該模式的周期為兩年，其中一年為Tick，另一年為Tock。）

就像GPT4一樣，我們仍處於推動的早期階段，對吧？我們已經宣布了視覺能力，但仍在生產中。我相信這將改變這些系統的工作方式和感受，以及在其上構建的各種應用程式。因此，我對此感到非常興奮。回顧過去幾年的歷史，我想到兩年前我們把價格砍了70%。在過去一年中，我們又降價了90%。這看起來非常瘋狂，不是嗎？我相信我們將能夠用新模型重複這樣的事情。現在，雖然GPT4價格昂貴且尚未完全可用，但我認為這是將會改變的事情之一。

Kevin Scott：這也是我想留給在座各位的一件事：「今天昂貴的東西明天不再昂貴，因為技術進步是如此驚人。」我們還有時間來談論最後一個話題——你已經為這裡的開發人員提供了一系列非常好的建議，還有什麼想跟大家分享的嗎？

Greg Brockman：我認為在這個領域，技術路線越來越清晰，技術也越來越出色。但我相信有一件事是每個開發人員都可以做到的，而即使像微軟這樣的大公司也很難實現，那就是真正深入某個特定領域，弄清楚如何讓這項技術在該領域發揮作用。因此，我非常欣賞那些在法律領域等領域工作的公司，他們獲取了專業知識，與許多律師交流，了解他們對這項技術的痛點。我相信每個人的努力都可以為這項技術增添巨大的價值。

Kevin Scott：太棒了。正如Greg所說，你們都是讓AI變得偉大的人。Greg，非常感謝你今天與我們共度時光！