Monitoramento da qualidade de dados e modelos com o Amazon SageMaker Model Monitor - Amazon SageMaker
Como funciona

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Monitoramento da qualidade de dados e modelos com o Amazon SageMaker Model Monitor

O Amazon SageMaker Model Monitor monitora a qualidade dos modelos de aprendizado SageMaker de máquina da Amazon em produção. Com o Model Monitor, você pode configurar:

  • Monitoramento contínuo com um endpoint em tempo real.

  • Monitoramento contínuo com uma tarefa de transformação em lote que é executada regularmente.

  • Monitoramento dentro do cronograma para trabalhos assíncronos de transformação em lote.

Com o Model Monitor, você pode definir alertas que o notificam quando há desvios na qualidade do modelo. A detecção precoce e proativa desses desvios permite que você tome ações corretivas. Você pode realizar ações como retreinar modelos, auditar sistemas upstream ou corrigir problemas de qualidade sem precisar monitorar modelos manualmente ou criar ferramentas adicionais. É possível usar recursos de monitoramento pré-criados do Model Monitor que não exigem codificação. Você também tem a flexibilidade de monitorar modelos por meio de codificação para fornecer análise personalizada.

O Model Monitor fornece os seguintes tipos de monitoramento:

Tópicos

Como funciona o Amazon SageMaker Model Monitor

O Amazon SageMaker Model Monitor monitora automaticamente os modelos de aprendizado de máquina (ML) em produção e notifica você quando ocorrem problemas de qualidade. O Model Monitor usa regras para detectar oscilações em seus modelos e alerta você quando isso acontece. A figura a seguir mostra como esse processo funciona no caso de seu modelo ser implantado em um endpoint em tempo real.

O processo de monitoramento de modelos com o Amazon SageMaker Model Monitor.

Você também pode usar o Model Monitor para monitorar um trabalho de transformação de lotes em vez de um endpoint em tempo real. Nesse caso, em vez de receber solicitações em um endpoint e rastrear as previsões, o Model Monitor monitora as entradas e saídas de inferência. A figura a seguir mostra o processo de monitoramento de um trabalho de transformação de lotes.

O processo de monitoramento de modelos com o Amazon SageMaker Model Monitor.

Para ativar o monitoramento do modelo, siga as etapas a seguir. Essas etapas seguem o caminho dos dados por meio dos vários processos de coleta, monitoramento e análise de dados.

  • Para um endpoint em tempo real, ative o endpoint para capturar dados de solicitações de entrada para um modelo de ML treinado e as previsões de modelo resultantes.

  • Para um trabalho de transformação de lotes, habilite a captura de dados das entradas e saídas da transformação de lotes.

  • Crie uma linha de base com o conjunto de dados que foi usado para treinar o modelo. A linha de base calcula as métricas e sugere restrições para elas. As previsões em tempo real ou em lote do seu modelo são comparadas às restrições. Elas são denunciadas como violações se estiverem fora dos valores restritos.

  • Crie uma programação de monitoramento especificando quais dados devem ser coletados, com que frequência devem ser coletados, como analisá-los e quais relatórios devem ser produzidos.

  • Inspecione os relatórios, que comparam os dados mais recentes com a linha de base. Fique atento a quaisquer violações relatadas, métricas e notificações da Amazon CloudWatch.

Observações

  • O Model Monitor calcula métricas e estatísticas do modelo somente em dados tabulares. Por exemplo, um modelo de classificação de imagens que usa imagens como entrada e gera um rótulo baseado nessa imagem ainda pode ser monitorado. O Model Monitor seria capaz de calcular métricas e estatísticas para a saída, não para a entrada.

  • Atualmente, o Model Monitor é compatível apenas com endpoints que hospedam um modelo único e não é compatível com o monitoramento de endpoints de vários modelos. Para obter informações sobre como usar endpoints de vários modelos, consulte Endpoints multimodelo.

  • O Model Monitor oferece suporte ao monitoramento de pipelines de inferência. No entanto, a captura e a análise de dados são feitas para todo o pipeline, não para contêineres individuais no pipeline.

  • Para evitar o impacto nas solicitações de inferência, a Captura de dados interrompe a captura de solicitações em altos níveis de uso do disco. Recomendamos que você mantenha a utilização do disco abaixo de 75% para garantir que a captura de dados continue capturando as solicitações.

  • Se você iniciar o SageMaker Studio em um Amazon personalizadoVPC, deverá criar VPC endpoints para permitir que o Model Monitor se comunique com o Amazon S3 e. CloudWatch Para obter informações sobre VPC endpoints, consulte VPCendpoints no Guia do usuário da Amazon Virtual Private Cloud. Para obter informações sobre como iniciar o SageMaker Studio de forma personalizadaVPC, consulteConecte os notebooks Connect Studio VPC a recursos externos.

Notebooks de amostra Model Monitor

Para um exemplo de notebook que mostra o end-to-end fluxo de trabalho usando o Model Monitor com seu endpoint em tempo real, consulte Introdução ao Amazon SageMaker Model Monitor.

Para obter um caderno de exemplo que visualiza o arquivo statistics.json para uma execução selecionada em uma programação de monitoramento, consulte Visualização do Model Monitor.

Para obter instruções sobre como criar e acessar instâncias do notebook Jupyter que você pode usar para executar o exemplo SageMaker, consulte. Instâncias do Amazon SageMaker Notebook Depois de criar uma instância do notebook e abri-la, escolha a guia SageMaker Exemplos para ver uma lista de todas as SageMaker amostras. Para abrir um caderno, escolha a aba Uso do caderno e, em seguida, escolha Criar cópia.