As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Third-party avaliadores

AgentCore Evaluations oferece avaliadores de bibliotecas de código AutoEval aberto DeepEval e bibliotecas. Se você já usa essas bibliotecas, pode executar as mesmas métricas AgentCore nas Avaliações. O serviço gerencia o código de hospedagem e avaliação para você. Com a opção gerenciada, o serviço também seleciona o modelo e executa a inferência, da mesma forma que faz com avaliadores integrados.

Há duas maneiras de usar avaliadores terceirizados:

Identidade do avaliador

Dois campos juntos identificam cada avaliador, incluindo avaliadores terceirizados:

Os dois campos são independentes, então cada avaliador é um (evaluatorType, provider) par:

O ID de um avaliador terceirizado gerenciado segue o ThirdParty.<Provider>.<Metric> formato, por exemplo, ou. ThirdParty.DeepEval.TaskCompletion ThirdParty.AutoEval.Security Isso reflete o Builtin.<Metric> formato usado para avaliadores integrados primários.

Descubra os avaliadores disponíveis

Third-party os avaliadores são retornados pela ListEvaluators API junto com avaliadores integrados primários e quaisquer avaliadores personalizados em sua conta.

{
  "evaluators": [
    {
      "evaluatorId": "Builtin.Helpfulness",
      "evaluatorType": "Builtin",
      "provider": "AWS",
      "level": "TRACE",
      "status": "ACTIVE"
    },
    {
      "evaluatorId": "ThirdParty.DeepEval.TaskCompletion",
      "evaluatorType": "ThirdParty",
      "provider": "DeepEval",
      "level": "TRACE",
      "status": "ACTIVE"
    },
    {
      "evaluatorId": "ThirdParty.AutoEval.Security",
      "evaluatorType": "ThirdParty",
      "provider": "AutoEval",
      "level": "TRACE",
      "status": "ACTIVE"
    }
  ]
}

Avaliadores terceirizados gerenciados

Use um avaliador terceirizado gerenciado exatamente como um avaliador integrado: selecione-o por ID e o serviço o executará em um modelo que ele opera. Você não fornece um modelo, solicitação ou configuração.

Você pode passar a ID de um avaliador terceirizado gerenciado em qualquer lugar em que passaria uma ID de avaliador embutida:

O exemplo a seguir executa um avaliador terceirizado gerenciado com a Evaluate API:

import boto3

client = boto3.client('bedrock-agentcore')

response = client.evaluate(
    evaluatorId="ThirdParty.DeepEval.TaskCompletion",
    evaluationInput={"sessionSpans": session_span_logs}
)

for result in response["evaluationResults"]:
    print(f"Value: {result.get('value')}")
    print(f"Explanation: {result.get('explanation', '')}")

Avaliadores personalizados derivados de um avaliador básico

Use um avaliador derivado personalizado para executar um avaliador existente — um avaliador externo integrado ou gerenciado — em seu próprio modelo. Em vez de usar o modelo escolhido pelo serviço, você fornece o modelo e os parâmetros de inferência. O avaliador básico fornece o aviso e a pontuação. Isso se aplica somente aos LLM-based avaliadores.

Para criar um avaliador derivado personalizado, especifique o derived membro de evaluatorConfig com a ID do avaliador base e a configuração do seu modelo. Salve o seguinte como derived_evaluator_config.json:

{
    "derived": {
        "baseEvaluatorId": "ThirdParty.DeepEval.TaskCompletion",
        "modelConfig": {
            "bedrockEvaluatorModelConfig": {
                "modelId": "global.anthropic.claude-sonnet-4-5-20250929-v1:0",
                "inferenceConfig": {
                    "temperature": 0.0,
                    "topP": 1.0,
                    "maxTokens": 2048
                }
            }
        }
    }
}

Você também pode derivar um avaliador personalizado de um avaliador integrado baseEvaluatorId definindo como uma Builtin. ID em vez de uma ID. ThirdParty.

Crie o avaliador com a AWS CLI:

aws bedrock-agentcore-control create-evaluator \
    --evaluator-name 'my_task_completion' \
    --evaluator-config file://derived_evaluator_config.json

O avaliador resultante evaluatorType definiu como. CustomDerived O serviço deriva provider automaticamente do avaliador base: AWS para uma Builtin. base ou o nome do provedor para uma ThirdParty. base. Você não define level — o serviço é derivado do avaliador básico e está ativado somente para leitura. GetEvaluator Você também não define instructions ou ratingScale porque o avaliador básico é o proprietário de ambos.

Depois de criar o avaliador, use-o exatamente como qualquer outro avaliador personalizado: passe seu ID de avaliador ou adicione-o à Evaluate evaluators lista de uma avaliação on-line ou em lote.

Resultados

Third-party os avaliadores retornam a mesma forma de resultado que os avaliadores integrados e personalizados, nos mesmos locais. Para obter mais informações, consulte Resultados e resultados.

Conjunto inicial de avaliadores

Os seguintes avaliadores estão disponíveis no lançamento.

DeepEval

AutoEval

Console

No seletor de avaliadores, avaliadores terceirizados aparecem em sua própria seção de Third-party avaliadores, agrupados por provedor, separados dos grupos de avaliadores integrados. Essa seção está fechada por padrão.

Para criar um avaliador personalizado derivado de um avaliador básico, use o fluxo Criar avaliador personalizado existente e escolha a Third-party biblioteca como o tipo de definição do avaliador. Essa opção remove as seções de instrução e escala mostradas LLM-as-a-judge, pois o avaliador básico é o proprietário do prompt e da pontuação. Escolha uma biblioteca e uma métrica e, em seguida, forneça o modelo e os parâmetros de inferência. O nível de avaliação é exibido somente para leitura, definido pela métrica.