Monitore um teste de sombra - Amazon SageMaker

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Monitore um teste de sombra

Você pode ver os detalhes de um teste de sombra e monitorá-lo enquanto ele está em andamento ou depois de concluído. SageMaker apresenta um painel ao vivo comparando as métricas operacionais, como latência do modelo e taxa de erro agregada, das variantes de produção e sombra.

Para visualizar os detalhes de um teste individual no console do, faça o seguinte:

  1. Selecione o teste que você deseja monitorar na seção Teste de sombra na página Testes de sombra.

  2. Na lista suspensa Ações, escolha Visualizar. Uma página de visão geral com os detalhes do teste e um painel de métricas é exibida.

A página de visão geral tem as três seções a seguir.

Resumo

Esta seção resume o progresso e o status do teste. Também mostra as estatísticas resumidas da métrica escolhida na lista suspensa Selecionar métrica na subseção Métricas. A captura de tela a seguir mostra essa seção.

Seção Resumo da página visão geral.

Na captura de tela anterior, as guias Configurações e Detalhes mostram as configurações que você selecionou e os detalhes que inseriu ao criar o teste.

Análise

Esta seção mostra um painel de métricas com gráficos separados das seguintes métricas:

  • Invocations

  • InvocationsPerInstance

  • ModelLatency

  • Invocation4XXErrors

  • Invocation5XXErrors

  • InvocationModelErrors

  • CPUUtilization

  • MemoryUtilization

  • DiskUtilization

As últimas três métricas monitoram o uso dos recursos de tempo de execução do contêiner do modelo. O resto são CloudWatch métricas que você pode usar para analisar o desempenho da sua variante. Em geral, menos erros indicam um modelo mais estável. Uma latência mais baixa indica um modelo mais rápido ou uma infraestrutura mais rápida. Para obter mais informações sobre CloudWatch métricas, consulteSageMaker métricas de invocação de endpoints. A captura de tela a seguir mostra o painel de métricas.

Painel de análise de métricas.
Ambiente

Esta seção mostra as variantes que você comparou no teste. Se você estiver satisfeito com o desempenho da variante de sombra, com base nas métricas mencionadas acima, poderá promover a variante de sombra para produção escolhendo Implantar variante de sombra. Para obter mais detalhes sobre a implantação de uma variante de sombra, consulte Promover uma variante de sombra. Você também pode alterar a porcentagem de amostragem de tráfego e continuar testando quando escolhe Editar tráfego. Para obter mais detalhes sobre a edição de uma variante de sombra, consulte Editar um teste de sombra. A captura de tela a seguir mostra essa seção.

A página Visão geral do ambiente é exibida.