View a markdown version of this page

사전 조건 - Amazon Bedrock AgentCore
에이전트 요구 사항AWS 자격 증명 및 권한SDK 및 CLI 요구 사항

사전 조건

배치 평가를 실행하려면 먼저 다음 사항을 충족해야 합니다.

에이전트 요구 사항

  • 관찰성이 활성화된 AgentCore 런타임에 배포된 에이전트 또는 AgentCore 관찰성으로 구성된 지원되는 프레임워크로 구축된 에이전트. 지원되는 프레임워크:

    • Strands Agents

    • opentelemetry-instrumentation-langchain 또는를 사용한 LangGraph openinference-instrumentation-langchain

  • CloudWatch에서 활성화된 트랜잭션 검색(CloudWatch를 세션 소스로 사용할 때 필요).

  • CloudWatch Logs의 원격 측정 데이터가 포함된 에이전트 세션. 에이전트를 호출하고 배치 평가를 시작하기 전에 CloudWatch가 원격 측정을 수집할 때까지 2~5분 정도 기다립니다.

AWS 자격 증명 및 권한

배치 평가는 호출자의 자격 증명으로 실행됩니다. 온라인 평가와 달리 배치 평가에는 별도의 서비스 실행 역할이 필요하지 않습니다. 서비스는 IAM 자격 증명을 사용하여 세션 검색을 위해 CloudWatch Logs에 액세스하고 평가 결과를 작성합니다.

AWS 다음 서비스에 대한 권한으로 구성된 자격 증명:

  • bedrock-agentcore - 배치 평가를 시작, 가져오기, 나열, 중지 및 삭제하는 방법

  • logs (CloudWatch Logs) - 세션 범위를 읽고 평가 결과를 작성합니다.

필수 IAM 권한

다음 IAM 정책은 배치 평가를 실행하는 데 필요한 최소 권한을 부여합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock-agentcore:StartBatchEvaluation",
                "bedrock-agentcore:GetBatchEvaluation",
                "bedrock-agentcore:ListBatchEvaluations",
                "bedrock-agentcore:StopBatchEvaluation",
                "bedrock-agentcore:DeleteBatchEvaluation"
            ],
            "Resource": "arn:aws:bedrock-agentcore:*:*:batch-evaluate/*"
        },
        {
            "Sid": "ReadAgentLogs",
            "Effect": "Allow",
            "Action": [
                "logs:GetLogEvents",
                "logs:FilterLogEvents",
                "logs:StartQuery",
                "logs:GetQueryResults"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/runtimes/*",
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*"
            ]
        },
        {
            "Sid": "BedrockInvokeForCustomEvaluators",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:*::foundation-model/*",
                "arn:aws:bedrock:*:*:inference-profile/*"
            ]
        }
    ]
}
참고

BedrockInvokeForCustomEvaluators 문은 Amazon Bedrock 모델을 호출하는 사용자 지정 평가자를 사용하는 경우에만 필요합니다. 내장 평가자만 사용할 때는 생략할 수 있습니다.

SDK 및 CLI 요구 사항

  • AWS SDK(boto3): Python 3.10 이상.

  • AgentCore CLI:를 실행agentcore --version하여 버전을 확인합니다.

참고

배치 평가 CLI 표면은 다음 명령으로 구성됩니다.

  • agentcore run batch-evaluation - 배치 평가 시작

  • agentcore stop batch-evaluation -i <id> - 실행 중인 배치 평가 중지

  • agentcore view batch-evaluation [id] 및 agentcore batch-evaluations history - 작업 보기 또는 작업 나열

  • agentcore archive batch-evaluation -i <id> - 서비스에 배치 평가 작업 레코드를 보관하고 로컬 기록을 지웁니다.

bedrock-agentcore:DeleteBatchEvaluation IAM 작업은 CLI의 archive batch-evaluation 명령에 의해 지원되며 리터럴 delete CLI 동사는 없습니다.