仕組み
AgentCore 最適化は、評価結果を反復可能なサイクルを通じて検証済みの改善に接続します。一般的な反復は、以下のステップに従います。
-
レコメンデーションを生成する: CloudWatch Logs のエージェントトレースに Recommendations API をポイントし、最適化する評価者を指定します。このサービスは障害パターンを分析し、最適化されたシステムプロンプトまたは一連のツールの説明と、変更内容と変更理由の説明を返します。
-
(オプション) 設定バンドルとしてパッケージ化: 推奨設定でバンドルバージョンを作成します。バンドルは、コードのデプロイなしで動的に変更できる、エージェントの設定 (システムプロンプト、モデル IDs、ツールの説明) のバージョニングされたイミュータブルなスナップショットです。設定バンドルは、エージェントの動作をコードから切り離す場合に便利です。必須ではありません。別のランタイムエンドポイントにデプロイして変更を検証することもできます。
-
A/B テストで検証する: AgentCore Gateway を介して、現在のエージェント (コントロール) と改善されたバージョン (処理) の間で本番トラフィックを分割します。オンライン評価では、セッションごとにスコアが付けられ、統計的に有意な結果がレポートされます。A/B テストは 2 つのパターンをサポートします。
-
設定バンドルバリアント: 同じランタイム、異なるバンドルバージョン。変更が純粋な設定 (プロンプト、モデル ID、ツールの説明) である場合に使用します。
-
ターゲットベースのバリアント: 異なるランタイムエンドポイントを指す異なるゲートウェイターゲット。変更にコード変更、フレームワークのアップグレードが含まれる場合、またはまったく異なるエージェントの実装を比較する場合に使用します。各バリアントは、独自のオンライン評価設定を持つことができます。
-
-
勝つバリアントをデプロイして繰り返します。トラフィックの 100% を勝つバリアントにルーティングします。新しいベースラインからの新しいトレースは、次の反復の基盤を提供します。