OpenAI 17 日宣布 GPT-4 Turbo 速率上限翻倍,每分鐘最多可處理 150 萬個 token(TPM),且取消每日限制。
OpenAI表示,為了防止濫用、確保公平性和管理基礎架構負載,限制企業存取API的速率。這種限制可以防止惡意超載應用程式接口,確保所有用戶都能公平存取,並透過節流指定時間內允許的請求數量,高需求期間保持效能。
OpenAI共用五種速率限制:RPM(每分鐘請求數)、RPD(每天請求數)、TPM(每分鐘tokens數量)、TPD(每天tokens數量)和IPM(每分鐘影像數量)。需要注意的是,速率限制只在組織等級,對個人使用者影響較小。速率限制因模式而異,組織每月API總支出也有「使用限制」。
We’ve just doubled GPT-4 Turbo rate limits across the board and removed all daily limits. Here are the new maximum tokens per minute (TPM) you can now achieve.https://t.co/D2Xm3QidZy pic.twitter.com/f0k3L5FLzs
— OpenAI Developers (@OpenAIDevs) February 16, 2024