Testes de validação por comparação
Com o Amazon SageMaker, você pode avaliar qualquer alteração em sua infraestrutura de serviço de modelos comparando seu desempenho com a infraestrutura atualmente implantada. Essa prática é conhecida como teste de validação por comparação. Os testes de validação por comparação pode ajudar você a detectar possíveis erros de configuração e problemas de desempenho antes que eles afetem os usuários finais. Com o SageMaker, você não precisa investir na criação de sua infraestrutura de testes de validação por comparação, para poder se concentrar no desenvolvimento de modelos.
Você pode usar esse recurso para validar alterações em qualquer componente de sua variante de produção, ou seja, o modelo, o contêiner ou a instância, sem nenhum impacto no usuário final. É útil em situações que incluem, mas não se limitam às seguintes:
-
Você está pensando em promover um novo modelo que foi validado offline para produção, mas deseja avaliar métricas de desempenho operacional, como latência e taxa de erro, antes de tomar essa decisão.
-
Você está considerando mudanças em seu contêiner de infraestrutura de serviço, como corrigir vulnerabilidades ou atualizar para versões mais recentes, e deseja avaliar o impacto dessas mudanças antes da promoção para a produção.
-
Você está pensando em mudar sua instância de ML e quer avaliar o desempenho da nova instância com solicitações de inferência em tempo real.
O console do SageMaker fornece uma experiência guiada para gerenciar o fluxo de trabalho dos testes de validação por comparação. Você pode configurar testes de validação por comparação por um período predefinido, monitorar o progresso do teste por meio de um painel ao vivo, limpar após a conclusão e agir de acordo com os resultados. Selecione uma variante de produção com a qual você deseja testar e o SageMaker implanta automaticamente a nova variante no modo sombra e encaminha uma cópia das solicitações de inferência para ela, em tempo real, no mesmo endpoint. Somente as respostas da variante de produção são retornadas à aplicação de chamada. Você pode optar por descartar ou registrar as respostas da variante de sombra para comparação offline. Para obter mais informações sobre produção e variantes de sombra, consulte Validação de modelos em produção.
Para obter instruções sobre como criar um teste de validação por comparação, consulte Criar um teste de validação por comparação.
nota
Certos recursos de endpoint podem tornar seu endpoint incompatível com teste de validação por comparação. Se o endpoint usa algum dos seguintes atributos, não é possível usar testes de validação por comparação em seu endpoint, e a solicitação para configurar testes validação por comparação levará a erros de validação:
Inferência sem servidor
Inferência assíncrona
Marketplace de contêineres
Endpoints de vários contêineres
Endpoints multimodelo
Endpoints que usam instâncias Inf1 (baseadas em inferência)
