Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Tests shadow
Avec Amazon SageMaker AI, vous pouvez évaluer toute modification apportée à votre modèle d'infrastructure de service en comparant ses performances à celles de l'infrastructure actuellement déployée. Cette pratique est connue sous le nom de tests shadow. Les tests shadow peuvent vous aider à détecter les erreurs de configuration et les problèmes de performances potentiels avant qu'ils n'affectent les utilisateurs finaux. Avec l' SageMaker IA, vous n'avez pas besoin d'investir dans la création de votre infrastructure de test parallèle. Vous pouvez donc vous concentrer sur le développement de modèles.
Vous pouvez utiliser cette fonction pour valider les modifications apportées à n'importe quel composant de votre variante de production, à savoir le modèle, le conteneur ou l'instance, sans aucun impact sur l'utilisateur final. Ils sont utiles dans les situations suivantes, mais sans s'y limiter :
-
Vous envisagez de promouvoir en production un nouveau modèle qui a été validé hors ligne, mais vous souhaitez évaluer des métriques de performances opérationnelles telles que la latence et le taux d'erreur avant de prendre cette décision.
-
Vous envisagez de modifier le conteneur de votre conteneur d'infrastructure, par exemple en corrigeant des vulnérabilités ou en effectuant une mise à niveau vers des versions plus récentes, et vous souhaitez évaluer l'impact de ces modifications avant de passer à la production.
-
Vous envisagez de modifier votre instance de ML et souhaitez évaluer les performances de la nouvelle instance avec des demandes d'inférence en direct.
La console SageMaker AI fournit une expérience guidée pour gérer le flux de travail des tests parallèles. Vous pouvez configurer des tests parallèles pour une durée prédéfinie, suivre la progression du test via un tableau de bord en direct, effectuer un nettoyage une fois terminé et agir en fonction des résultats. Sélectionnez une variante de production que vous souhaitez tester, et l' SageMaker IA déploie automatiquement la nouvelle variante en mode fantôme et lui achemine une copie des demandes d'inférence en temps réel sur le même point de terminaison. Seules les réponses de la variante de production sont renvoyées à l'application appelante. Vous pouvez choisir de supprimer ou de journaliser les réponses de la variante shadow à des fins de comparaison hors ligne. Pour plus d'informations sur les variantes de production et shadow, consultez Validation des modèles en production.
Consultez Création d'un test shadow pour des instructions sur la création d'un test shadow.
Note
Certaines fonctionnalités du point de terminaison peuvent rendre votre terminal incompatible avec les tests parallèles. Si votre point de terminaison utilise l'une des fonctionnalités suivantes, vous ne pouvez pas utiliser de tests instantanés sur votre point de terminaison, et votre demande de configuration de tests instantanés entraînera des erreurs de validation.
Inférence sans serveur
Inférence asynchrone
Conteneurs de marketplace
Points de terminaison à conteneurs multiples
Points de terminaison multi-modèles
Points de terminaison qui utilisent des instances Inf1 (basées sur Inferentia)
