Ingerir rótulos do Ground Truth e mesclá-los com predições - SageMaker IA da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Ingerir rótulos do Ground Truth e mesclá-los com predições

O monitoramento da qualidade do modelo compara as predições que seu modelo faz com rótulos de veracidade para medir a qualidade do modelo. Para que isso funcione, você rotula periodicamente os dados capturados pelo seu trabalho de transformação em lote ou endpoint e os carrega no Amazon S3.

Para combinar os rótulos do Ground Truth com os dados de predição capturados, deve haver um identificador exclusivo para cada registro no conjunto de dados. A estrutura de cada registro para dados de veracidade é a seguinte:

{
  "groundTruthData": {
    "data": "1",
    "encoding": "CSV"
  },
  "eventMetadata": {
    "eventId": "aaaa-bbbb-cccc"
  },
  "eventVersion": "0"
}

Na estrutura groundTruthData, eventId pode ser uma das seguintes opções:

  • eventId: Esse ID é gerado automaticamente quando um usuário invoca o endpoint.

  • inferenceId: O chamador fornece esse ID ao invocar o endpoint.

Se inferenceId estiver presente nos registros de dados capturados, o Model Monitor o usará para mesclar os dados capturados com os registros do Ground Truth. Você é responsável por garantir que os registros inferenceId do Ground Truth correspondam aos inferenceId dos registros capturados. Se inferenceId estiver presente nos dados capturados, o Model Monitor usará eventId dos registros de dados capturados paca combiná-los com o registro do Ground Truth.

Você deve fazer o upload dos dados do Ground Truth em um bucket do Amazon S3 que tenha o mesmo formato de caminho dos dados capturados.

Requisitos de formato de dados

Quando você salva seus dados no Amazon S3, eles devem usar o formato “jsonlines” (.jsonl) e ser salvos usando a seguinte estrutura de nomenclatura: Para saber mais sobre os requisitos do jsonline, consulte Usar dados de entrada e saída. 

s3://amzn-s3-demo-bucket1/prefix/yyyy/mm/dd/hh

A data nesse caminho é a data em que o rótulo do Ground Truth é coletado e não precisa corresponder à data em que a inferência foi gerada.

Depois de criar e carregar os rótulos do Ground Truth, inclua a localização dos rótulos como parâmetro ao criar o trabalho de monitoramento. Se você estiver usando AWS SDK for Python (Boto3), faça isso especificando a localização dos rótulos do Ground Truth como o S3Uri campo do GroundTruthS3Input parâmetro em uma chamada para o create_model_quality_job_definition método. Se você estiver usando o SDK do SageMaker Python, especifique a localização dos rótulos do Ground Truth como ground_truth_input parâmetro na chamada para o objetocreate_monitoring_schedule. ModelQualityMonitor