As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Ingerir rótulos do Ground Truth e mesclá-los com predições
O monitoramento da qualidade do modelo compara as predições que seu modelo faz com rótulos de veracidade para medir a qualidade do modelo. Para que isso funcione, você rotula periodicamente os dados capturados pelo seu trabalho de transformação em lote ou endpoint e os carrega no Amazon S3.
Para combinar os rótulos do Ground Truth com os dados de predição capturados, deve haver um identificador exclusivo para cada registro no conjunto de dados. A estrutura de cada registro para dados de veracidade é a seguinte:
{ "groundTruthData": { "data": "1", "encoding": "CSV" }, "eventMetadata": { "eventId": "aaaa-bbbb-cccc" }, "eventVersion": "0" }
Na estrutura groundTruthData
, eventId
pode ser uma das seguintes opções:
-
eventId
: Esse ID é gerado automaticamente quando um usuário invoca o endpoint. -
inferenceId
: O chamador fornece esse ID ao invocar o endpoint.
Se inferenceId
estiver presente nos registros de dados capturados, o Model Monitor o usará para mesclar os dados capturados com os registros do Ground Truth. Você é responsável por garantir que os registros inferenceId
do Ground Truth correspondam aos inferenceId
dos registros capturados. Se inferenceId
estiver presente nos dados capturados, o Model Monitor usará eventId
dos registros de dados capturados paca combiná-los com o registro do Ground Truth.
Você deve fazer o upload dos dados do Ground Truth em um bucket do Amazon S3 que tenha o mesmo formato de caminho dos dados capturados.
Requisitos de formato de dados
Quando você salva seus dados no Amazon S3, eles devem usar o formato “jsonlines” (.jsonl) e ser salvos usando a seguinte estrutura de nomenclatura: Para saber mais sobre os requisitos do jsonline, consulte Usar dados de entrada e saída.
s3://
amzn-s3-demo-bucket1
/prefix
/yyyy
/mm
/dd
/hh
A data nesse caminho é a data em que o rótulo do Ground Truth é coletado e não precisa corresponder à data em que a inferência foi gerada.
Depois de criar e carregar os rótulos do Ground Truth, inclua a localização dos rótulos como parâmetro ao criar o trabalho de monitoramento. Se você estiver usando AWS SDK for Python (Boto3), faça isso especificando a localização dos rótulos do Ground Truth como o S3Uri
campo do GroundTruthS3Input
parâmetro em uma chamada para o create_model_quality_job_definition
método. Se você estiver usando o SDK do SageMaker Python, especifique a localização dos rótulos do Ground Truth como ground_truth_input
parâmetro na chamada para o objetocreate_monitoring_schedule
. ModelQualityMonitor