レート制限
On this page
リクエスト制限はキーベースで適用されるため, 一つのノイズの多い統合が別のものの予算を使用することはできない.
| 制限 | 値 | 保護するもの |
|---|---|---|
| APIキーごと | 1分あたり600リクエスト | 顧客間の公平性. 超過すると返却 429. |
| IPアドレスごと | 1分あたり2,000リクエスト | 認証前に適用されるアブユーズフロアで、共有企業NATには十分なものです。 |
| 重い操作 | 3つ同時に実行され、サービス全体で共有されます | パース、評価、要約はすべてのアカウントで共有される容量で3つ同時に実行されます。その以上のリクエストは順番待ちとなり、同時実行のみのために拒否されることはありません。 |
| リクエストのタイムアウト | 300秒 | 単一の呼び出しの上限です。上限を超える作業は戻り値を返します 504. |
典型的な待ち時間
本稼働環境で測定されたもの:
| 運用 | 典型的な待ち時間 |
|---|---|
| 言語検出 | 1秒未満 |
| 翻訳 | 1秒未満 |
| 面接要約（書き起こし） | 15〜20秒 |
| CV パース | 文書ごとに40〜90秒 |
| 評価 | 30秒から60秒 |
クライアントのタイムアウトを適切に設定してください。30秒のHTTPタイムアウトは、成功するはずだった呼び出しを放棄します。ドキュメント操作の場合、リクエストタイムアウトを5分以上に保ってください。
処理能力
重い作業は共有容量で実行されるため、サービス全体の負荷に応じてスループットが変化します。概算では、継続的なスループットは約2〜4 CV/分です。キューに入れたリクエストも300秒のタイムアウト内で完了する必要があるため、長いキューは遅いレスポンスとして現れます 504.
バックログや長時間の録音の場合、 非同期レーンを使用してください。これは、接続を開いたままにしません。如果、大幅に高いスループットが必要な場合、またはバッチで数千のドキュメントを予想する場合、ワークロードの形状を教えてください。そうすれば、ビルドする前に計画を確認します。
429と503の処理
429 と 503 をバックオフで再試行します。 429の場合、存在する場合に Retry-After ヘッダーを尊重してください。 エラーを参照してください.
Updated