As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
O Amazon SageMaker Model Monitor monitora a qualidade dos modelos de aprendizado de máquina de SageMaker IA da Amazon em produção. Com o Model Monitor, você pode configurar:
-
Monitoramento contínuo com um endpoint em tempo real.
-
Monitoramento contínuo com um trabalho de transformação em lote que é executado regularmente.
-
Monitoramento dentro do cronograma para trabalhos assíncronos de transformação em lote.
Com o Model Monitor, você pode definir alertas que o notificam quando há desvios na qualidade do modelo. A detecção antecipada e pró-ativa desses desvios permite que você tome medidas corretivas. Você pode tomar ações, como treinar modelos novamente, auditar sistemas de upstream ou corrigir problemas de qualidade sem precisar monitorar modelos manualmente ou criar ferramentas adicionais. É possível usar recursos de monitoramento pré-criados do Model Monitor que não exigem codificação. Você também tem a flexibilidade de monitorar modelos por meio de codificação para fornecer análise personalizada.
O Model Monitor fornece os seguintes tipos de monitoramento:
-
Qualidade dos dados - monitora a variação na qualidade dos dados.
-
Qualidade do modelo - Monitora a variação nas métricas de qualidade do modelo, como precisão.
-
Desvio de polarização para modelos em produção - Monitora o desvio nas predições do seu modelo.
-
Desvio de atribuição de atributos para modelos em produção - Monitora a variação na atribuição de atributos.
Como funciona o Amazon SageMaker Model Monitor
O Amazon SageMaker Model Monitor monitora automaticamente os modelos de aprendizado de máquina (ML) em produção e notifica você quando ocorrem problemas de qualidade. O Model Monitor usa regras para detectar oscilações em seus modelos e alerta você quando isso acontece. A figura a seguir mostra como esse processo funciona no caso de seu modelo ser implantado em um endpoint em tempo real.

Você também pode usar o Model Monitor para monitorar um trabalho de transformação de lotes em vez de um endpoint em tempo real. Nesse caso, em vez de receber solicitações em um endpoint e acompanhar as predições, o Model Monitor monitorará as entradas e saídas de inferência. A figura a seguir mostra o processo de monitoramento de um trabalho de transformação de lotes.

Para ativar o monitoramento de modelo, execute as seguintes etapas: Estas etapas seguem o caminho dos dados por meio dos vários processos de coleta, monitoramento e análise de dados.
-
Para um endpoint em tempo real, ative o endpoint para capturar dados de solicitações de entrada para um modelo de ML treinado e as predições de modelo resultantes.
-
Para um trabalho de transformação de lotes, habilite a captura de dados das entradas e saídas da transformação de lotes.
-
Crie uma linha de base com o conjunto de dados que foi usado para treinar o modelo. A linha de base calcula as métricas e sugere restrições para elas. As predições em tempo real ou em lotes do seu modelo são comparadas às restrições. Elas são relatadas como violações se estiverem fora dos valores condicionados.
-
Crie uma programação de monitoramento especificando quais dados devem ser coletados, com que frequência devem ser coletados, como analisá-los e quais relatórios devem ser produzidos.
-
Inspecione os relatórios, que comparam os dados mais recentes com a linha de base. Fique atento a quaisquer violações relatadas, métricas e notificações da Amazon CloudWatch.
Observações
-
O Model Monitor calcula métricas e estatísticas do modelo somente em dados tabulares. Por exemplo, um modelo de classificação de imagens que usa imagens como entrada e gera um rótulo baseado nessa imagem ainda pode ser monitorado. O Model Monitor seria capaz de calcular métricas e estatísticas para a saída, não para a entrada.
-
Atualmente, o Model Monitor é compatível apenas com endpoints que hospedam um modelo único e não é compatível com o monitoramento de endpoints multimodelo. Para obter informações sobre como usar endpoints multimodelo, consulte Endpoints multimodelo.
-
O Model Monitor oferece apoio ao monitoramento de pipelines de inferência. No entanto, a captura e análise de dados são feitas para todo o pipeline, não para contêineres individuais no pipeline.
-
Para evitar o impacto nas solicitações de inferência, a Captura de dados interrompe a captura de solicitações em altos níveis de uso do disco. É recomendável que você mantenha a utilização do disco abaixo de 75% para garantir que a captura de dados continue atendendo às solicitações.
-
Se você iniciar o SageMaker Studio em uma Amazon VPC personalizada, deverá criar endpoints de VPC para permitir que o Model Monitor se comunique com o Amazon S3 e. CloudWatch Para obter informações sobre endpoints de VPC, consulte Endpoints de VPC no Guia do usuário do Amazon Virtual Private Cloud. Para obter informações sobre como iniciar o SageMaker Studio em uma VPC personalizada, consulte. Conectar os cadernos do Studio em uma VPC para recursos externos
Exemplos de cadernos do Model Monitor
Para um exemplo de notebook que mostra o end-to-end fluxo de trabalho usando o Model Monitor com seu endpoint em tempo real, consulte Introdução ao Amazon SageMaker Model Monitor
Para obter um caderno de exemplo que visualiza o arquivo statistics.json para uma execução selecionada em uma programação de monitoramento, consulte Visualização do Model Monitor
Para obter instruções sobre como criar e acessar instâncias do notebook Jupyter que você pode usar para executar o exemplo em SageMaker IA, consulte. Instâncias do Amazon SageMaker Notebook Depois de criar uma instância do notebook e abri-la, escolha a guia Exemplos de SageMaker IA para ver uma lista de todas as amostras de SageMaker IA. Para abrir um caderno, escolha a aba Uso do caderno e, em seguida, escolha Criar cópia.