AgentCore 최적화: 권장 사항 및 A/B 테스트를 통해 에이전트 품질 루프 개선
Amazon Bedrock AgentCore 최적화는 데이터 기반 구성 변경을 통해 에이전트의 성능을 지속적으로 개선하는 도구를 제공합니다. 프롬프트를 수동으로 다시 작성하고 직접 테스트하는 대신 에이전트 추적을 사용하여 개선 사항을 생성하고 제어된 실험을 통해 검증합니다.
AgentCore 최적화는 AgentCore 평가를 기반으로 하며 다음 세 가지 기능을 도입합니다.
-
권장 사항: 실제 에이전트 추적 및 대상 평가자를 기반으로 시스템 프롬프트 및 도구 설명에 대한 AI 생성 개선 사항입니다. 서비스는 대상 평가자를 기반으로 실패 패턴을 분석하고 시스템 프롬프트 또는 도구 설명의 최적화된 변형을 생성합니다.
-
구성 번들: 에이전트 동작을 코드에서 분리하여 재배포 없이 동작 변경을 활성화하는 에이전트 구성(시스템 프롬프트, 모델 ID, 도구 설명)의 버전 관리되고 변경 불가능한 스냅샷입니다. IDs 구성 번들은 선택 사항이며 별도의 런타임 엔드포인트에 배포하여 변경 사항을 검증할 수도 있습니다.
-
A/B 테스트: AgentCore Gateway를 통해 두 변형 간에 트래픽 분할을 제어하고 각 세션에 대한 온라인 평가 점수를 매기고 통계적 유의성을 보고합니다. 변형은 동일한 런타임의 다른 구성 번들 버전이거나 다른 런타임 엔드포인트를 가리키는 다른 게이트웨이 대상일 수 있습니다.
이러한 기능은 함께 지속적인 개선 루프를 형성합니다.
