推論プロファイルを使用してモデル呼び出しリソースを設定する

使用状況メトリクスを追跡する – CloudWatch ログを設定し、アプリケーション推論プロファイルを使用してモデル呼び出しリクエストを送信して、モデル呼び出しの使用状況メトリクスを収集します。推論プロファイルに関する情報を表示するときにこれらのメトリクスを確認し、メトリクスを使用して決定事項を通知することができます。CloudWatch ログの設定方法の詳細については、「CloudWatch Logs と Amazon S3 を使用してモデル呼び出しをモニタリングする」を参照してください。

タグを使用してコストをモニタリングする – オンデマンドのモデル呼び出しリクエストを送信するときに、アプリケーション推論プロファイルにタグをアタッチしてコストを追跡します。コスト配分にタグを使用する方法の詳細については、「 AWS Billing ユーザーガイド」の「コスト配分タグを使用した AWS コストの整理と追跡」を参照してください。

クロスリージョン推論 – 複数の を含む推論プロファイルを使用します AWS リージョン。推論プロファイルは、モデル呼び出しリクエストをこれらのリージョンに分散します。クロスリージョン推論の詳細については、「クロスリージョン推論 AWS リージョン を使用してモデル推論リクエストを 全体にルーティングする」を参照してください。

クロスリージョン (システム定義) 推論プロファイル – Amazon Bedrock で事前定義され、モデルへのリクエストのルーティング先となる複数のリージョンを含む推論プロファイル。

アプリケーション推論プロファイル – コストとモデルの使用状況を追跡するためにユーザーが作成する推論プロファイル。モデル呼び出しリクエストを 1 つのリージョンまたは複数のリージョンにルーティングする推論プロファイルを作成できます。

モデル推論 – Amazon Bedrock コンソールのプレイグラウンドで推論プロファイルを選択するか、InvokeModel、InvokeModelWithResponseStream、Converse、ConverseStream オペレーションの呼び出し時に推論プロファイルの ARN を指定することで、モデル呼び出しを実行する際に推論プロファイルを使用します。詳細については、「推論リクエストの実行」を参照してください。

ナレッジベースのベクトル埋め込みとレスポンス生成 – ナレッジベースでのクエリ後にレスポンスを生成する場合や、データソース内の非テキスト情報を解析する場合に、推論プロファイルを使用します。詳細については、「クエリとレスポンスを使用してナレッジベースをテストする」および「データソースの解析オプション」を参照してください。

モデル評価 – モデル評価ジョブを送信する際、評価するモデルとして推論プロファイルを送信できます。詳細については、「Amazon Bedrock リソースのパフォーマンスを評価する」を参照してください。

プロンプト管理 – プロンプト管理で作成したプロンプトのレスポンスを生成する際に、推論プロファイルを使用できます。詳細については、Amazon Bedrock でプロンプト管理を使用して再利用可能なプロンプトを構築して保存するを参照してください。

フロー – フローのプロンプトノードでインラインに定義したプロンプトのレスポンスを生成する際に、推論プロファイルを使用できます。詳細については、「Amazon Bedrock フローを使用してエンドツーエンドの生成 AI ワークフローを構築する」を参照してください。