耐障害性と処理能力のスループットを向上させる

1 分あたりに処理されるリクエスト — 1 分あたりに処理されるモデル呼び出しリクエストの数。クォータは、InvokeModel、、コンバースInvokeModelWithResponseStream、および ConverseStreamAPIリクエストの合計を考慮します。 https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html

1 分あたりに処理されるトークン — 1 分あたりに処理されるトークンの数。クォータは、InvokeModel、、コンバースInvokeModelWithResponseStream、または ConverseStreamAPIリクエストに対して処理されたトークンの合計を考慮します。

オンデマンドスループット – スループットの標準オプション。特定の でモデルを呼び出すことが含まれます AWS リージョン。クォータは、 の Amazon Bedrock エンドポイントとクォータで定義されます AWS 全般のリファレンス。

オンデマンドのクロスリージョン推論 – 設定された からリソースのオンデマンドプールを抽象化する推論プロファイルの呼び出しが含まれます AWS リージョン。推論プロファイルは、ソースリージョンから発信された推論リクエストを、プールで設定された別のリージョンにルーティングできます。クロスリージョン推論を使用すると、推論プロファイルで定義されたリージョン間でモデル呼び出しリクエストを動的にルーティングすることで、スループットが向上し、回復力が向上します。ユーザートラフィック、需要、リソースの使用率のルーティング要因。詳細については、「クロスリージョン推論によるレジリエンスの向上」を参照してください。

プロビジョンドスループット – 特定の のモデルの専用レベルのスループットの購入が含まれます AWS リージョン。プロビジョンドスループットクォータは、購入するモデルユニットの数によって異なります。詳細については、「Amazon Bedrock のプロビジョンドスループットでモデル呼び出し容量を増やす」を参照してください。