Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Création d'un test shadow
Vous pouvez créer un test shadow pour comparer les performances d'une variante shadow à celles d'une variante de production. Vous pouvez exécuter le test sur un point de terminaison existant qui répond à des demandes d'inférence ou vous pouvez créer un nouveau point de terminaison sur lequel exécuter le test.
Pour créer un shadow test, vous devez spécifier les informations suivantes :
-
Variante de production qui reçoit et répond à 100 % des demandes d'inférence entrantes.
-
Variante shadow qui reçoit un pourcentage des demandes entrantes, répliquées à partir de la variante de production, mais qui ne renvoie aucune réponse.
Pour chaque variante, vous pouvez SageMaker contrôler le modèle, le type d'instance et le nombre d'instances. Vous pouvez configurer le pourcentage de demandes entrantes, appelé pourcentage d'échantillonnage du trafic, que vous souhaitez répliquer vers votre variante fictive. SageMaker gère la réplication des demandes vers votre variante fictive et vous pouvez modifier le pourcentage d'échantillonnage du trafic lorsque votre test est planifié ou en cours d'exécution. Vous pouvez activer la capture de données en option pour journaliser les demandes et les réponses de vos variantes de production et de vos variantes shadow.
Note
SageMaker prend en charge un maximum d'une variante d'ombre par point de terminaison. Pour un point de terminaison doté d'une variante shadow, il ne peut y avoir qu'une seule variante de production.
Vous pouvez programmer le début du test à tout moment et le poursuivre pendant une durée spécifiée. La durée par défaut est de 7 jours et la durée maximale est de 30 jours. Une fois le test terminé, le point de terminaison revient à l'état dans lequel il se trouvait avant le début du test. Cela garantit que vous n'avez pas à nettoyer manuellement les ressources à la fin du test.
Vous pouvez surveiller un test en cours d'exécution via un tableau de bord de la SageMaker console. Le tableau de bord fournit une comparaison côte à côte des métriques d'invocation et des métriques d'instance entre les variantes de production et les variantes shadow, ainsi qu'une vue tabulaire contenant des statistiques de métriques pertinentes. Ce tableau de bord est également disponible pour les tests terminés. Une fois que vous avez examiné les métriques, vous pouvez choisir de promouvoir la variante shadow en tant que nouvelle variante de production ou de conserver la variante de production existante. Une fois que vous avez promu la variante shadow, elle répond à toutes les demandes entrantes. Pour plus d’informations, consultez Promotion d'une variante shadow.
La procédure suivante explique comment créer un test parallèle via la SageMaker console. Le flux de travail varie selon que vous souhaitez utiliser un point de terminaison existant ou en créer un nouveau pour le test shadow.
Prérequis
Avant de créer un test parallèle avec la SageMaker console, vous devez disposer d'un SageMaker modèle prêt à être utilisé. Pour plus d'informations sur la création d'un SageMaker modèle, consultezDéployez des modèles pour une inférence en temps réel.
Vous pouvez commencer par des tests fictifs avec un point de terminaison existant avec une variante de production et une variante fantôme, un point de terminaison existant avec uniquement une variante de production ou simplement les SageMaker modèles que vous souhaitez comparer. Les tests shadow permettent de créer un point de terminaison et d'ajouter des variantes avant le début du test.
Note
Certaines fonctionnalités du point de terminaison peuvent rendre votre point de terminaison incompatible avec les tests parallèles. Si votre point de terminaison utilise l'une des fonctionnalités suivantes, vous ne pouvez pas utiliser de tests instantanés sur votre point de terminaison, et votre demande de configuration de tests instantanés entraînera des erreurs de validation.
Inférence sans serveur
Inférence asynchrone
Conteneurs de marketplace
Points de terminaison à conteneurs multiples
Points de terminaison multi-modèles
Points de terminaison qui utilisent des instances Inf1 (basées sur Inferentia)
Points de terminaison Amazon Elastic Inference
Saisir les détails du test shadow
Pour commencer à créer votre test shadow, remplissez la page Enter shadow test details(Saisir les détails du test shadow) en procédant comme suit :
-
Ouvrez la SageMaker console
. -
Dans le volet de navigation de gauche, sélectionnez Inference (Inférence), puis Shadow tests (Tests shadow).
-
Choisissez Create shadow test (Créer un test shadow).
-
Sous Name (Nom), saisissez un nom pour le test.
-
(Facultatif) Dans le champ Description, saisissez une description du test.
-
(Facultatif) Spécifiez Tags (Balises) à l'aide des paires Key (Clé) et Value (Valeur).
-
Choisissez Suivant.
Saisir les paramètres du test shadow
Après avoir rempli la page Enter shadow test details(Saisir les détails du test shadow), remplissez la page Enter shadow test settings (Saisir les paramètres du test shadow). Si vous disposez déjà d'un point de terminaison d' SageMaker inférence et d'une variante de production, suivez le flux de travail Utiliser un point de terminaison existant. Si vous n'avez pas encore de point de terminaison, suivez le flux de travail Create a new endpoint (Créer un point de terminaison).
Une fois les procédures précédentes terminées, vous devriez maintenant avoir un test programmé pour commencer à la date et à l'heure de début que vous avez spécifiées. Vous pouvez afficher la progression du test à partir d'un tableau de bord. Pour plus d'informations sur l'affichage de votre test et les actions à effectuer, consultez Affichage, surveillance et modification des tests shadow.