As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Testes de validação por comparação
Com a Amazon, SageMaker você pode avaliar qualquer alteração em sua infraestrutura de serviço de modelos comparando seu desempenho com a infraestrutura atualmente implantada. Essa prática é conhecida como teste de validação por comparação. Os testes de validação por comparação pode ajudar você a detectar possíveis erros de configuração e problemas de desempenho antes que eles afetem os usuários finais. Com isso SageMaker, você não precisa investir na criação de sua infraestrutura de testes paralelos, para poder se concentrar no desenvolvimento de modelos.
Você pode usar esse recurso para validar alterações em qualquer componente de sua variante de produção, ou seja, o modelo, o contêiner ou a instância, sem nenhum impacto no usuário final. É útil em situações que incluem, mas não se limitam às seguintes:
-
Você está pensando em promover um novo modelo que foi validado off-line para produção, mas deseja avaliar métricas de desempenho operacional, como latência e taxa de erro, antes de tomar essa decisão.
-
Você está considerando mudanças em seu contêiner de infraestrutura de serviço, como corrigir vulnerabilidades ou atualizar para versões mais recentes, e deseja avaliar o impacto dessas mudanças antes da promoção para a produção.
-
Você está pensando em mudar sua instância de ML e quer avaliar o desempenho da nova instância com solicitações de inferência em tempo real.
O SageMaker console fornece uma experiência guiada para gerenciar o fluxo de trabalho do teste de sombra. Você pode configurar testes paralelos por um período de tempo predefinido, monitorar o progresso do teste por meio de um painel ao vivo, limpar após a conclusão e agir de acordo com os resultados. Selecione uma variante de produção com a qual você deseja testar e implanta SageMaker automaticamente a nova variante no modo sombra e encaminha uma cópia das solicitações de inferência para ela em tempo real no mesmo endpoint. Somente as respostas da variante de produção são retornadas ao aplicativo de chamada. Você pode optar por descartar ou registrar as respostas da variante de sombra para comparação off-line. Para obter mais informações sobre produção e variantes de sombra, consulte Valide com segurança os modelos em produção.
Para obter instruções sobre como criar um teste de validação por comparação, consulte Criar uma de teste de sombra.
nota
Certos recursos de endpoint podem tornar seu endpoint incompatível com testes de sombra. Se seu endpoint usa algum dos recursos a seguir, você não pode usar testes de sombra em seu endpoint, e sua solicitação para configurar testes de sombra levará a erros de validação.
Inferência sem servidor
Inferência assíncrona
Marketplace de contêineres
Endpoints de vários contêineres
Endpoints multimodelo
Endpoints que usam instâncias Inf1 (baseadas em inferência)
Endpoints do Amazon Elastic Inference
