As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Os trabalhos de monitoramento da qualidade do modelo monitoram o desempenho de um modelo comparando as predições que o modelo faz com os rótulos reais do Ground Truth que o modelo tenta prever. Para fazer isso, o monitoramento da qualidade do modelo mescla dados que são capturados da inferência em tempo real ou em lote com rótulos reais que você armazena em um bucket do Amazon S3 e, em seguida, compara as predições com os rótulos reais.
Para medir a qualidade do modelo, o Model Monitor usa métricas que dependem do tipo de problema de ML. Por exemplo, se seu modelo for para um problema de regressão, uma das métricas avaliadas é o erro quadrático médio (mse). Para obter informações sobre todas as métricas usadas para os diferentes tipos de problemas de ML, consulte Métricas de qualidade do modelo e CloudWatch monitoramento da Amazon.
O monitoramento da qualidade do modelo segue as mesmas etapas do monitoramento da qualidade dos dados, mas adiciona a etapa adicional de mesclar os rótulos reais do Amazon S3 com as predições capturadas do endpoint de inferência em tempo real ou do trabalho de transformação em lote. Para monitorar a qualidade do modelo, siga estas etapas:
-
Habilite a captura de dados. Essa ação captura a entrada e a saída de inferência de um endpoint de inferência em tempo real ou de um trabalho de transformação em lote e armazena os dados no Amazon S3. Para obter mais informações, consulte Captura de dados.
-
Crie uma linha de base. Nesta etapa, você executa um trabalho de linha de base que compara as predições de modelo com os rótulos do Ground Truth em um conjunto de dados de linha de base. O trabalho de linha de base cria automaticamente regras e restrições estatísticas básicas que definem os limites em relação aos quais o desempenho do modelo é avaliada. Para obter mais informações, consulte Criar uma linha de base da qualidade de modelo.
-
Definir e programar trabalhos de monitoramento de qualidade de modelos. Para obter informações específicas e exemplos de código de trabalhos de monitoramento da qualidade dos dados, consulte Programar trabalhos de monitoramento da qualidade de modelos. Para obter informações gerais sobre trabalhos de monitoramento, consulte Programar trabalhos de monitoramento.
-
Ingerir rótulos do Ground Truth que o monitor do modelo se mescla com os dados de predição capturados de um endpoint de inferência em tempo real ou de um trabalho de transformação em lote. Para obter mais informações, consulte Ingerir rótulos do Ground Truth e mesclá-los com predições.
-
Integre o monitoramento da qualidade do modelo com a Amazon CloudWatch. Para obter mais informações, consulte Monitorando as métricas de qualidade do modelo com CloudWatch.
-
Interpretar os resultados de um trabalho de monitoramento. Para obter mais informações, consulte Interpretar resultados.
-
Use o SageMaker Studio para permitir o monitoramento da qualidade do modelo e visualizar os resultados. Para obter mais informações, consulte Visualize resultados para endpoints em tempo real no Amazon Studio SageMaker .
Tópicos
