# Detalhes do agente: avaliações
As avaliações fornecem métricas de monitoramento contínuo de qualidade aos agentes de IA. Você pode usar as informações do painel para avaliar a performance, a qualidade e a confiabilidade dos agentes de IA.
Em vez de se basear de casos de teste simulados, as avaliações capturam sessões do usuário e interações do agente reais, fornecendo uma visão abrangente da performance do agente, do início ao fim da interação. Com avaliações do agente, você pode definir regras de amostragem para avaliar apenas uma porcentagem das sessões ou dos rastros e depois aplicar vários avaliadores para analisar e pontuar a performance operacional de um agente de IA. As avaliações e pontuações resultantes são exibidas no painel Avaliações, permitindo que você monitore tendências, identifique possíveis problemas de qualidade, defina alarmes. investigue e diagnostique possíveis problemas.
O painel Avaliações lista todas as avaliações habilitadas e configuradas para o agente selecionado. Para saber mais sobre a configurações de avaliações para um agente, consulte [Avaliações do AgentCore](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/evaluations.html). Você pode expandir cada avaliação para visualizar as sessões, os rastros e os intervalos avaliados.
![\[Avaliações\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/evals_overview.png)
**Topics**
+ [Detalhes das avaliações](#session-traces-evaluations-details)
+ [Gráficos de avaliações](#session-traces-evaluations-graphs)
+ [Trabalhar com resultados de avaliações](#session-traces-evaluations-raw-results)
## Detalhes das avaliações
Para cada avaliação, o painel inclui as seguintes seções:
------
#### [ Evaluation configuration metrics ]
Fornece métricas para a configuração da avaliação em geral. O avaliador define como avaliar um aspecto específico da performance de um agente de IA. Para visualizar mais detalhes sobre um avaliador, escolha seu nome na coluna **Avaliador**. Para visualizar um gráfico de barras e analisar tendências para um avaliador, escolha o valor na coluna **Contagem**.
![\[Métricas da configuração da avaliação\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/evals_01.png)
------
#### [ Session evaluations ]
Fornece os resultados da avaliação aos avaliadores ao nível da sessão. Uma sessão representa um agrupamento lógico de interações relacionadas de um único usuário ou fluxo de trabalho. Uma sessão pode conter um ou mais rastros. Na seção **Rastrear avaliações**, escolha uma sessão para filtrar as avaliações a fim de obter a lista dos rastros dentro dessa sessão.
![\[Avaliações de sessões\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/evals_02.png)
------
#### [ Trace evaluations ]
Fornece aos avaliadores resultados das avaliações ao nível do rastro. Um rastro é um registro completo de uma única execução ou solicitação de agente. Um rastro pode conter um ou mais intervalos. Escolha um rastro para visualizar seus detalhes e todos os avaliadores nele executados.
![\[Avaliações de rastros\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/evals_03.png)
------
#### [ Span evaluations ]
Fornece aos avaliadores resultados das avaliações ao nível do intervalo. Um intervalo representa as operações individuais realizadas durante aquela execução. Escolha um intervalo para visualizar os detalhes e todas as realizadas durante esse intervalo.
![\[Avaliações de intervalos\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/evals_04.png)
------
## Gráficos de avaliações
O painel Avaliações também inclui um gráfico de barras para cada avaliador. Os gráficos mostram as tendências de cada avaliador ao longo do tempo e permitem definir alarmes para determinados valores de métricas. Para definir um alarme, clique em uma barra do gráfico e escolha o ícone **Alarme** (campainha). Para obter mais informações, consulte [Usar alarmes do Amazon CloudWatch](CloudWatch_Alarms.md).
![\[Gráficos de avaliações\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/evals_graphs.png)
## Trabalhar com resultados de avaliações
Se precisar de acesso direto aos dados dos resultados da avaliação ou se quiser criar visualizações personalizadas ou trabalhar fora do console do AgentCore Evaluations, acesse os resultados da avaliação diretamente nos painéis do CloudWatch Logs, CloudWatch Metrics e CloudWatch.
**Topics**
+ [Acessar resultados de avaliações no CloudWatch Logs](#accessing-evaluation-results-logs)
+ [Acessar métricas de avaliação no CloudWatch Metrics](#accessing-evaluation-metrics)
+ [Criar painéis personalizados](#creating-custom-dashboards)
+ [Configurar alarmes em métricas de avaliação](#setting-alarms-evaluation-metrics)
+ [Recursos adicionais](#additional-resources)
### Acessar resultados de avaliações no CloudWatch Logs
Os resultados das avaliações são publicados automaticamente no CloudWatch Logs em EMF (Embedded Metric Format).
**Para encontrar seu grupo de logs de resultados de avaliações**
1. Abra o console do CloudWatch.
1. No painel de navegação, escolha **Gerenciamento de logs** > **Grupos de logs**.
1. Pesquise ou navegue até os grupos de logs com o prefixo:`/aws/bedrock-agentcore/evaluations/`.
1. Dentro desse grupo de logs, os eventos de logs contêm os resultados das avaliações.
Para saber mais sobre como trabalhar com grupos de logs e consultar dados de log, consulte [Trabalhar com grupos de logs e fluxos de logs](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/Working-with-log-groups-and-streams.html) e [Analisar dados de logs com o CloudWatch Logs Insights](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/AnalyzingLogData.html).
### Acessar métricas de avaliação no CloudWatch Metrics
As métricas dos resultados das avaliações são extraídas automaticamente dos logs EMF (Embedded Metric Format) e publicadas no CloudWatch Metrics.
**Para encontrar as métricas de avaliação**
1. Abra o console do CloudWatch.
1. No painel de navegação, escolha **Métricas** > **Todas as métricas**.
1. Selecione o namespace **Bedrock AgentCore/Evaluations**.
1. Procure as métricas disponíveis por dimensões.
Para saber mais sobre como visualizar e trabalhar com métricas, consulte [Usar o CloudWatch Metrics](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/working_with_metrics.html) e [Criar gráficos de métricas](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/graph_metrics.html).
### Criar painéis personalizados
Você pode criar painéis personalizados para visualizar suas métricas de avaliação junto com outras métricas operacionais.
**Para criar um painel com métricas de avaliação**
1. No console do CloudWatch, escolha **Painéis** no painel de navegação.
1. Escolha **Create dashboard (Criar painel)**.
1. Adicione widgets e selecione métricas no namespace **Bedrock AgentCore/Evaluations**.
1. Personalize o intervalo de tempo, as estatísticas e o tipo de visualização de acordo com suas necessidades.
Para obter instruções detalhadas, consulte [Criar e trabalhar com painéis personalizados](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/create_dashboard.html) e [Usar painéis do CloudWatch](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Dashboards.html).
### Configurar alarmes em métricas de avaliação
É possível definir alarmes para ser notificado quando as métricas de avaliação ultrapassarem os limites especificados, como, por exemplo, quando a exatidão fica abaixo dos níveis aceitáveis.
**Para criar um alarme em métricas de avaliação**
1. No console do CloudWatch, escolha **Alarmes** > **Todos os alarmes**.
1. Selecione **Criar alarme**.
1. Escolha **Selecionar métrica** e navegue até o namespace **Bedrock AgentCore/Evaluations**.
1. Escolha a métrica que você deseja monitorar.
1. Configure as condições limites (limite dinâmico de detecção de anomalias disponível, para o qual não é necessário especificar um número limite estático) e as ações de notificação.
Para obter instruções detalhadas, consulte [Usar alarmes do CloudWatch](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Alarms.html) e [Criar um alarme do CloudWatch com base em um limite estático](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/ConsoleAlarms.html).
### Recursos adicionais
+ [Formato de métrica incorporada do CloudWatch](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/CloudWatch-Logs-Monitoring-CloudWatch-Metrics.html)
+ [Sintaxe de consulta do CloudWatch Logs](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/CWL_QuerySyntax.html)
+ [Criar alarmes composto](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/Create_Composite_Alarm.html)