View a markdown version of this page

Prasyarat - Batuan Dasar Amazon AgentCore
Persyaratan agenAWS kredensil dan izinPersyaratan SDK dan CLI

Prasyarat

Sebelum Anda dapat menjalankan evaluasi batch, pastikan hal-hal berikut sudah ada.

Persyaratan agen

AWS kredensil dan izin

Evaluasi Batch berjalan di bawah kredensi pemanggil. Tidak seperti evaluasi online, evaluasi batch tidak memerlukan peran eksekusi layanan terpisah. Layanan ini menggunakan identitas IAM Anda untuk mengakses CloudWatch Log untuk penemuan sesi dan untuk menulis hasil evaluasi.

AWS kredensil yang dikonfigurasi dengan izin untuk layanan berikut:

  • bedrock-agentcore— untuk memulai, mendapatkan, membuat daftar, menghentikan, dan menghapus evaluasi batch

  • logs(CloudWatch Log) — untuk membaca rentang sesi dan menulis hasil evaluasi

Izin IAM yang diperlukan

Kebijakan IAM berikut memberikan izin minimum yang diperlukan untuk menjalankan evaluasi batch:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock-agentcore:StartBatchEvaluation",
                "bedrock-agentcore:GetBatchEvaluation",
                "bedrock-agentcore:ListBatchEvaluations",
                "bedrock-agentcore:StopBatchEvaluation",
                "bedrock-agentcore:DeleteBatchEvaluation"
            ],
            "Resource": "arn:aws:bedrock-agentcore:*:*:batch-evaluate/*"
        },
        {
            "Sid": "ReadAgentLogs",
            "Effect": "Allow",
            "Action": [
                "logs:GetLogEvents",
                "logs:FilterLogEvents",
                "logs:StartQuery",
                "logs:GetQueryResults"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/runtimes/*",
                "arn:aws:logs:*:*:log-group:/aws/bedrock-agentcore/evaluations/*"
            ]
        },
        {
            "Sid": "BedrockInvokeForCustomEvaluators",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": [
                "arn:aws:bedrock:*::foundation-model/*",
                "arn:aws:bedrock:*:*:inference-profile/*"
            ]
        }
    ]
}
catatan

BedrockInvokeForCustomEvaluatorsPernyataan ini diperlukan hanya jika Anda menggunakan evaluator kustom yang memanggil model Amazon Bedrock. Anda dapat menghilangkannya saat hanya menggunakan evaluator bawaan.

Persyaratan SDK dan CLI

  • AWS SDK (boto3): Python 3.10 atau yang lebih baru.

  • AgentCore CLI: Jalankan agentcore --version untuk memeriksa versi Anda.

catatan

Permukaan CLI evaluasi batch terdiri dari perintah berikut:

  • agentcore run batch-evaluation— memulai evaluasi batch

  • agentcore stop batch-evaluation -i <id>— hentikan evaluasi batch yang sedang berjalan

  • agentcore view batch-evaluation [id]dan agentcore batch-evaluations history — melihat pekerjaan atau daftar pekerjaan

  • agentcore archive batch-evaluation -i <id>— arsipkan catatan pekerjaan evaluasi batch pada layanan dan membersihkan riwayat lokal

Tindakan bedrock-agentcore:DeleteBatchEvaluation IAM didukung oleh perintah CLIarchive batch-evaluation; tidak ada kata kerja delete CLI literal.