速率限制
请求限制是按密钥强制执行的,因此一个嘈杂的集成不能耗尽另一个的预算。
| 限制 | 值 | 它所保护的内容 |
|---|---|---|
| 每个 API 键 | 每分钟600个请求 | 客户之间的公平性。超过它将返回 429. |
| 每个 IP 地址 | 每分钟2,000个请求 | 在身份验证之前应用的滥用楼层,对共享的企业NAT足够慷慨。 |
| 重型操作 | 一次三个,跨服务共享 | 解析、评估和总结同时运行三个,共享所有帐户的容量。超过此限制,请求将等待其转;它们永远不会仅因并发而被拒绝。 |
| 请求超时 | 300秒 | 任何单个调用的上限。超过此限制的工作将返回 504. |
典型延迟
在生产环境中测量:
| 操作 | 典型延迟 |
|---|---|
| 语言检测 | 不到一秒 |
| 翻译 | 不到一秒 |
| 面试摘要(录音稿) | 15至20秒 |
| CV 解析 | 每份文档40至90秒 |
| 评估 | 30至60秒 |
请根据需要设置客户端超时时间。30秒的HTTP超时时间将放弃原本可能成功的调用。请保持文档操作的请求超时时间超过五分钟。
吞吐量
由于重负载工作运行在共享容量上,吞吐量会随着服务负载的变化而变化。作为一个估计,持续吞吐量大约为每分钟2到4个简历。一个排队的请求仍然需要在300秒超时内完成,因此长队列会表现为较慢的响应,然后 504.
对于积压和长时间录音,请使用 异步通道,它不会保持连接打开。如果您需要更高的吞吐量,或者预计批处理中有成千上万的文档,请告诉我们工作负载的形状,我们将在您构建之前确认计划。
处理429和503
使用 429 和 503 进行重试,并带有退避。对于 429,在存在时尊重 Retry-After 头部。请参阅 错误.
Updated