ChatGPT 近期藍圖曝光，2024 年公開多模組功能

HumanLoop 創辦人 Raza Habib 近日表示，上週他與 Sam Altman 及 20 位開發者舉行閉門討論，透露不少 OpenAI 預定開發內容。

1. OpenAI嚴重受限於GPU

討論常出現的主題是，OpenAI的GPU非常有限，拖累許多短期計畫，客戶最大抱怨是API可靠性和速度。Sam承認頗為擔心這點，解釋大部分問題都是缺少GPU的結果。

32K上下文還不能大力推廣，OpenAI還未克服O(n^2)注意力擴展，所以雖然很快就會有10萬至百萬token上下文視窗（今年），但更大行動都要研究如何突破。

微調API也受GPU瓶頸限制，還未有有效微調法，微調執行和管理非常需要計算密集。之後會提供更佳微調支援，甚至可能主持社群貢獻模型的市場。專用容量產品受GPU可用性限制，OpenAI還有專用容量，提供模型私人副本。要存取此服務，客戶必須預付10萬美元。

2. OpenAI近期藍圖

Sam分享OpenAI的API近期藍圖。

2023年

更便宜更快的GPT-4：這是首要任務。OpenAI目標是盡可能降低「智慧成本」，因此時間過去，會努力繼續降低API成本。
更長上下文：之後上下文可能高達100萬個token。
Finetuning API：微調API將擴展到最新模型，但方式取決於開發人員真正想要的東西。
有狀態的API：調用聊天API時，必須反覆傳遞相同對話歷史並一次次為相同token付費，之後會有能記錄對話歷史的API版。

2024年

多模組：GPT-4版發表時展示過，但更多GPU上線前不能擴展至所有用戶。

3. 外掛程式不會很快出現

許多開發人員對用API存取ChatGPT外掛程式很感興趣，但Sam表示外掛程式不會很快公布。除了瀏覽，用外掛程式代表還沒有PMF，他說很多人想將自家應用程式置入ChatGPT，但真正想要的是將ChatGPT嵌入自家應用程式。

4. OpenAI會避免與客戶競爭

不少開發人員表示，OpenAI可能發表有競爭力的產品時，對用OpenAI API構建感到緊張。Sam說OpenAI不會發表ChatGPT以外產品，偉大的平台擁有殺手級應用程式歷史由來已久，ChatGPT致力使大眾成為客戶以改善API。ChatGPT願景是成為超級智慧助理，因還有許多OpenAI不會碰到的GPT用法。