Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Valuta le prestazioni degli agenti con Amazon Bedrock AgentCore Evaluations
Amazon Bedrock AgentCore Evaluations fornisce strumenti di valutazione automatici per misurare la capacità dell'agente o degli strumenti di eseguire attività specifiche, gestire casi limite e mantenere la coerenza tra diversi input e contesti. Il servizio consente l'ottimizzazione basata sui dati e garantisce che gli agenti soddisfino gli standard di qualità prima e dopo l'implementazione.
AgentCore Evaluations si integra con i più diffusi framework di agenti, tra cui Strands e con e librerie di strumentazione. LangGraph OpenTelemetry OpenInference Sotto il cofano, le tracce di questi agenti vengono convertite in un formato unificato e valutate utilizzando LLM-as-a-Judge tecniche per valutatori integrati e personalizzati.
Ogni valutatore è associato a un Amazon Resource Name (ARN) e a una policy sulle risorse univoci. Gli ARN di valutazione seguono questi formati:
arn:aws:bedrock-agentcore:::evaluator/Builtin.Helpfulness (for built-in evaluators)
arn:aws:bedrock-agentcore:region:account:evaluator/my-evaluator-id (for custom evaluators)
Built-in i valutatori sono pubblici e accessibili a tutti gli utenti. Le risorse di valutazione personalizzate sono private e sono accessibili solo dagli utenti a cui è stato esplicitamente concesso l'accesso. Per concedere l'accesso, puoi utilizzare le politiche basate sulle risorse IAM per i valutatori e le configurazioni di valutazione e le politiche IAM basate sull'identità per utenti e ruoli.
Per impostazione predefinita, puoi creare fino a 1.000 configurazioni di valutazione per regione in un account. AWS AWS Il servizio supporta fino a 1 milione di token di input e output al minuto per account per aree estese.
