耐障害性と処理能力のスループットを向上させる

1 分あたりに処理されるリクエスト – 1 分あたりに処理されるモデル呼び出しリクエストの数。クォータは、、InvokeModel、コンバース InvokeModelWithResponseStream、および ConverseStreamAPIリクエストの合計を考慮します。

1 分あたりに処理されるトークン – 1 分あたりに処理されるトークンの数。クォータは、、、InvokeModelWithResponseStreamConverse InvokeModel、または ConverseStreamAPIリクエストに対して処理されたトークンの合計を考慮します。

オンデマンドスループット — スループットの標準オプション。特定の でモデルを呼び出す AWS リージョン。 クォータは で定義されていますランタイムクォータ。

オンデマンドのクロスリージョン推論 — 設定されているリソースのオンデマンドプールを抽象化する推論プロファイルの呼び出しが含まれます。 AWS リージョン。 推論プロファイルは、ソースリージョンから発信された推論リクエストを、プールで設定された別のリージョンにルーティングできます。クロスリージョン推論を使用すると、推論プロファイルで定義されたリージョン間でモデル呼び出しリクエストを動的にルーティングすることで、スループットが向上し、回復性が向上します。リソースのユーザートラフィック、需要、使用率のルーティング要因。詳細については、「クロスリージョン推論による耐障害性の向上」を参照してください。

プロビジョンドスループット — 特定の のモデル専用のスループットレベルを購入する AWS リージョン。 プロビジョンドスループットクォータは、購入するモデルユニットの数によって異なります。詳細については、「Amazon Bedrock のプロビジョンドスループットでモデル呼び出し容量を増やす」を参照してください。