View a markdown version of this page

사전 조건 - Amazon Bedrock AgentCore
설정AWS 자격 증명 및 권한SDK 및 CLI 요구 사항

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

사전 조건

배치 평가를 실행하려면 먼저 다음 사항을 충족해야 합니다.

설정

배치 평가를 실행하기 전에 다음을 설정합니다.

  • 지원되는 프레임워크 및 계측 라이브러리로 빌드된 에이전트입니다. 지원되는 프레임워크 및 계측 라이브러리에 대한 자세한 내용은 지원되는 에이전트 프레임워크를 참조하세요.

  • 관찰성이 활성화된 AgentCore 런타임에 배포된 에이전트 또는 트랜잭션 검색을 포함하여 AgentCore 관찰성으로 구성된 지원되는 프레임워크로 구축된 에이전트입니다. 원격 측정 설정에 대한 자세한 내용은 원격 측정 설정 및 전송을 참조하세요.

  • CloudWatch Logs에서 원격 측정 데이터로 호출된 에이전트입니다. 배치 평가를 시작하기 전에 CloudWatch가 원격 측정을 수집할 때까지 2~5분 정도 기다립니다.

AWS 자격 증명 및 권한

배치 평가는 호출자의 자격 증명으로 실행됩니다. 온라인 평가와 달리 배치 평가에는 별도의 서비스 실행 역할이 필요하지 않습니다. 서비스는 IAM 자격 증명을 사용하여 세션 검색을 위해 CloudWatch Logs에 액세스하고 평가 결과를 작성합니다.

AWS 다음 서비스에 대한 권한으로 구성된 자격 증명:

  • bedrock-agentcore - 배치 평가를 시작, 가져오기, 나열, 중지 및 삭제하는 방법

  • logs (CloudWatch Logs) - 세션 범위를 읽고 평가 결과를 작성합니다.

필수 IAM 권한

다음 IAM 정책은 배치 평가를 실행하는 데 필요한 최소 권한을 부여합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock-agentcore:StartBatchEvaluation",
                "bedrock-agentcore:GetBatchEvaluation",
                "bedrock-agentcore:ListBatchEvaluations",
                "bedrock-agentcore:StopBatchEvaluation",
                "bedrock-agentcore:DeleteBatchEvaluation"
            ],
            "Resource": "arn:aws:bedrock-agentcore:*:*:batch-evaluate/*"
        },
        {
            "Sid": "ReadAgentLogs",
            "Effect": "Allow",
            "Action": [
                "logs:GetLogEvents",
                "logs:FilterLogEvents",
                "logs:StartQuery",
                "logs:GetQueryResults"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/runtimes/*",
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*"
            ]
        },
        {
            "Sid": "DescribeLogGroups",
            "Effect": "Allow",
            "Action": "logs:DescribeLogGroups",
            "Resource": "*"
        },
        {
            "Sid": "WriteEvaluationLogs",
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents",
                "logs:PutRetentionPolicy"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*",
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*:*"
            ]
        },
        {
            "Sid": "BedrockInvokeForCustomEvaluators",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:*::foundation-model/*",
                "arn:aws:bedrock:*:*:inference-profile/*"
            ]
        }
    ]
}
참고

BedrockInvokeForCustomEvaluators 문은 Amazon Bedrock 모델을 호출하는 사용자 지정 평가자를 사용하는 경우에만 필요합니다. 내장 평가자만 사용할 때는 생략할 수 있습니다.

참고

WriteEvaluationLogs 문을 사용하면 서비스가 평가 결과 로그 그룹 및 로그 스트림을 생성하고 자격 증명으로 결과를 쓸 수 있습니다. 이 작업은 리소스 수준 권한을 지원하지 Resource * 않으므로 logs:DescribeLogGroups에를 부여해야 합니다.

SDK 및 CLI 요구 사항

  • AWS SDK(boto3): Python 3.10 이상.

  • AgentCore CLI:를 실행agentcore --version하여 버전을 확인합니다.

참고

배치 평가 CLI 표면은 다음 명령으로 구성됩니다.

  • agentcore run batch-evaluation - 배치 평가 시작

  • agentcore stop batch-evaluation -i <id> - 실행 중인 배치 평가 중지

  • agentcore view batch-evaluation [id] 및 agentcore batch-evaluations history - 작업 보기 또는 작업 나열

  • agentcore archive batch-evaluation -i <id> - 서비스에 배치 평가 작업 레코드를 아카이브하고 로컬 기록을 지웁니다.

bedrock-agentcore:DeleteBatchEvaluation IAM 작업은 CLI의 archive batch-evaluation 명령에 의해 지원되며 리터럴 delete CLI 동사는 없습니다.