首页 > 问答 > OpenAI的API调用限制有哪些?

OpenAI的API调用限制有哪些?

发布时间:2025-04-24 14:52:48 | 责任编辑:张毅 | 浏览量:55 次

《OpenAI的API调用限制有哪些?》相关软件官网

Openai API接口

OpenAI API的调用限制主要包括速率限制(Rate Limits)和令牌限制(Token Limits),具体如下:

1. 速率限制(Rate Limits)

速率限制是指在特定时间内允许的请求数量和令牌数量。OpenAI根据账户类型和使用的端点(Endpoint)进行组织级别的速率限制。

不同账户类型的默认速率限制:
账户类型 Text & Embedding(文本和嵌入) Chat(聊天对话) Edit(编辑) Image(图像) Audio(音频)
免费试用用户 3 RPM,150,000 TPM 3 RPM,40,000 TPM 3 RPM,150,000 TPM 5 images / min 3 RPM
按需付费用户(前48小时) 60 RPM,250,000 TPM 60 RPM,60,000 TPM 20 RPM,150,000 TPM 50 images / min 50 RPM
按需付费用户(48小时后) 3,500 RPM,350,000 TPM 3,500 RPM,90,000 TPM 20 RPM,150,000 TPM 50 images / min 50 RPM
  • RPM:每分钟请求数(Requests Per Minute)。
  • TPM:每分钟令牌数(Tokens Per Minute),不同模型的TPM单位不同:
    • davinci:1 token/分钟
    • curie:25 tokens/分钟
    • babbage:100 tokens/分钟
    • ada:200 tokens/分钟

2. 令牌限制(Token Limits)

每个模型都有一个最大令牌数限制,这是请求中允许的最大输入和输出令牌数。例如:

  • text-ada-001:每个请求最多2,048个令牌。

3. GPT-4的速率限制

在GPT-4的有限内测期间,其速率限制更为严格:

  • gpt-4 / gpt-4-0314:40,000 TPM,200 RPM。
  • gpt-4-32k / gpt-4-32k-0314:80,000 TPM,400 RPM。

由于容量限制,OpenAI无法满足GPT-4速率限制增加的请求。

4. 速率限制的处理

  • 批量请求:如果达到每分钟请求数的限制,但令牌数仍有余量,可以将多个任务批量发送到每个请求中,以提高吞吐量。
  • 指数退避:在代码中实现指数退避逻辑,当遇到速率限制错误时,自动重试请求。
  • 优化提示词:缩短提示词,减少不必要的单词和示例,以减少令牌使用量。

5. 速率限制增加

如果需要更高的速率限制,可以在OpenAI账户管理页面提交“速率限制增加请求”表格。不过,OpenAI通常需要7-10天来处理此类请求。

6. 其他注意事项

  • OpenAI API的使用需遵守其使用政策,包括但不限于隐私保护、不用于高风险决策等。
  • 如果属于多个组织,需确保默认组织设置正确,以控制API请求的计费和限制。
©️版权声明:
本网站(https://aigc.izzi.cn)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。

最新Ai信息

最新Ai工具

发表回复