Práticas recomendadas

Porcentagem de amostragem de tráfego: a amostragem de 100 por cento das solicitações de inferência permite validar se sua variante paralela pode lidar com o tráfego de produção quando promovida. Você pode começar com uma porcentagem menor de amostragem de tráfego e discar à medida que ganha confiança em sua variante, mas é uma prática recomendada garantir que você tenha aumentado o tráfego para 100% antes da promoção.

Tipo de instância: a menos que você esteja usando variantes de sombra para avaliar tipos ou tamanhos de instância alternativos, recomendamos que você use o mesmo tipo, tamanho e contagem de instâncias para ter certeza de que sua variante sombra pode lidar com o volume de solicitações de inferência depois de promovê-la.

Ajuste de escala automático: para garantir que sua variante de sombra possa responder a picos no número de solicitações de inferência ou mudanças nos padrões de solicitações de inferência, é altamente recomendável que você configure o ajuste de escala automático em suas variantes de sombra. Para saber como configurar upgrades automáticos, consulte Escalabilidade automática dos modelos de SageMaker IA da Amazon. Se você configurou o escalonamento automático, também pode validar as alterações nas políticas de escalonamento automático sem causar impacto aos usuários.

Monitoramento de métricas: depois de iniciar um experimento paralelo e ter invocações suficientes, monitore o painel de métricas para garantir que as métricas, como latência e taxa de erro, estejam dentro dos limites aceitáveis. Isso ajuda você a detectar configurações incorretas mais cedo e a tomar medidas corretivas. Para obter informações sobre como monitorar as métricas de um experimento de inferência em andamento, consulte Visualize, monitore e edite testes de validação por comparação.