Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Vous pouvez créer un test shadow pour comparer les performances d'une variante shadow à celles d'une variante de production. Vous pouvez exécuter le test sur un point de terminaison existant qui répond à des demandes d'inférence ou vous pouvez créer un nouveau point de terminaison sur lequel exécuter le test.
Pour créer un shadow test, vous devez spécifier les informations suivantes :
-
Variante de production qui reçoit et répond à 100 % des demandes d'inférence entrantes.
-
Variante shadow qui reçoit un pourcentage des demandes entrantes, répliquées à partir de la variante de production, mais qui ne renvoie aucune réponse.
Pour chaque variante, vous pouvez utiliser l' SageMaker IA pour contrôler le modèle, le type d'instance et le nombre d'instances. Vous pouvez configurer le pourcentage de demandes entrantes, appelé pourcentage d'échantillonnage du trafic, que vous souhaitez répliquer vers votre variante fictive. SageMaker L'IA gère la réplication des demandes vers votre variante fictive et vous pouvez modifier le pourcentage d'échantillonnage du trafic lorsque votre test est planifié ou en cours d'exécution. Vous pouvez activer la capture de données en option pour journaliser les demandes et les réponses de vos variantes de production et de vos variantes shadow.
Note
SageMaker L'IA prend en charge un maximum d'une variante d'ombre par point de terminaison. Pour un point de terminaison doté d'une variante shadow, il ne peut y avoir qu'une seule variante de production.
Vous pouvez programmer le début du test à tout moment et le poursuivre pendant une durée spécifiée. La durée par défaut est de 7 jours et la durée maximale est de 30 jours. Une fois le test terminé, le point de terminaison revient à l'état dans lequel il se trouvait avant le début du test. Cela garantit que vous n'avez pas à nettoyer manuellement les ressources à la fin du test.
Vous pouvez surveiller un test en cours d'exécution via un tableau de bord dans la console SageMaker AI. Le tableau de bord fournit une comparaison côte à côte des métriques d'invocation et des métriques d'instance entre les variantes de production et les variantes shadow, ainsi qu'une vue tabulaire contenant des statistiques de métriques pertinentes. Ce tableau de bord est également disponible pour les tests terminés. Une fois que vous avez examiné les métriques, vous pouvez choisir de promouvoir la variante shadow en tant que nouvelle variante de production ou de conserver la variante de production existante. Une fois que vous avez promu la variante shadow, elle répond à toutes les demandes entrantes. Pour de plus amples informations, veuillez consulter Promotion d'une variante shadow.
La procédure suivante décrit comment créer un test parallèle via la console SageMaker AI. Le flux de travail varie selon que vous souhaitez utiliser un point de terminaison existant ou en créer un nouveau pour le test shadow.
Prérequis
Avant de créer un test parallèle avec la console SageMaker AI, vous devez disposer d'un modèle d' SageMaker IA prêt à être utilisé. Pour plus d'informations sur la création d'un modèle d' SageMaker IA, consultezDéployez des modèles pour une inférence en temps réel.
Vous pouvez commencer par des tests fictifs avec un point de terminaison existant avec une variante de production et une variante fantôme, un point de terminaison existant avec uniquement une variante de production ou simplement les modèles d' SageMaker IA que vous souhaitez comparer. Les tests shadow permettent de créer un point de terminaison et d'ajouter des variantes avant le début du test.
Note
Certaines fonctionnalités du point de terminaison peuvent rendre votre point de terminaison incompatible avec les tests parallèles. Si votre point de terminaison utilise l'une des fonctionnalités suivantes, vous ne pouvez pas utiliser de tests instantanés sur votre point de terminaison, et votre demande de configuration de tests instantanés entraînera des erreurs de validation.
Inférence sans serveur
Inférence asynchrone
Conteneurs de marketplace
Points de terminaison à conteneurs multiples
Points de terminaison multi-modèles
Points de terminaison qui utilisent des instances Inf1 (basées sur Inferentia)
Saisir les détails du test shadow
Pour commencer à créer votre test shadow, remplissez la page Enter shadow test details(Saisir les détails du test shadow) en procédant comme suit :
-
Ouvrez la console SageMaker AI
. -
Dans le volet de navigation de gauche, sélectionnez Inference (Inférence), puis Shadow tests (Tests shadow).
-
Choisissez Create shadow test (Créer un test shadow).
-
Sous Name (Nom), saisissez un nom pour le test.
-
(Facultatif) Dans le champ Description, saisissez une description du test.
-
(Facultatif) Spécifiez Tags (Balises) à l'aide des paires Key (Clé) et Value (Valeur).
-
Choisissez Suivant.
Saisir les paramètres du test shadow
Après avoir rempli la page Enter shadow test details(Saisir les détails du test shadow), remplissez la page Enter shadow test settings (Saisir les paramètres du test shadow). Si vous possédez déjà un point de terminaison SageMaker AI Inference et une variante de production, suivez le flux de travail Utiliser un point de terminaison existant. Si vous n'avez pas encore de point de terminaison, suivez le flux de travail Create a new endpoint (Créer un point de terminaison).
Si vous souhaitez utiliser un point de terminaison existant pour votre test, remplissez la page Enter shadow test settings (Saisir les paramètres du test shadow) en procédant comme suit :
-
Choisissez un rôle auquel est attachée la politique IAM
AmazonSageMakerFullAccess. -
Choisissez Use an existing endpoint (Utiliser un point de terminaison existant), puis choisissez l'un des points de terminaison disponibles.
-
(Facultatif) Pour chiffrer le volume de stockage sur votre point de terminaison, choisissez une clé KMS existante ou choisissez Enter a KMS key ARN (Entrer un ARN de clé KMS) dans la liste déroulante sous Encryption key (Clé de chiffrement). Si vous choisissez la deuxième option, un champ permettant d'entrer l'ARN de la clé KMS apparaît. Entrez l'ARN de la clé KMS dans ce champ.
-
Si vous avez plusieurs variantes de production derrière ce point de terminaison, supprimez celles que vous ne souhaitez pas utiliser pour le test. Vous pouvez supprimer une variante de modèle en la sélectionnant, puis en choisissant Remove (Supprimer).
-
Si vous n'avez pas encore de variante shadow, ajoutez-en une. Pour ajouter une variante shadow, procédez comme suit :
-
Choisissez Ajouter.
-
Choisissez Shadow variant (Variante shadow).
-
Dans la boîte de dialogue Add model (Ajouter un modèle), sélectionnez le modèle à utiliser pour votre variante shadow.
-
Choisissez Save (Enregistrer).
-
-
(Facultatif) À l'étape précédente, la variante shadow est ajoutée avec les paramètres par défaut. Pour modifier ces paramètres, sélectionnez la variante shadow et choisissez Edit (Modifier). La boîte de dialogue Edit shadow variant (Modifier la variante shadow) s'affiche. Pour plus d'informations sur comment remplir cette boîte de dialogue, consultez Modifier un test shadow.
-
Dans la section Schedule (Calendrier), entrez la durée du test en procédant comme suit :
-
Choisissez la case sous Duration (Durée). Un calendrier contextuel s'affiche.
-
Sélectionnez les dates de début et de fin dans le calendrier ou saisissez les dates de début et de fin dans les champs Start date (Date de début) et End date (Date de fin), respectivement.
-
(Facultatif) Pour les champs Start time (Heure de début) et End time (Heure de fin), entrez les heures de début et de fin, respectivement, au format 24 heures.
-
Choisissez Appliquer.
La durée minimale est de 1 heure et la durée maximale de 30 jours.
-
-
(Facultatif) Activez l'option Enable data capture -Activer la capture de données) pour enregistrer les informations de demande d'inférence et de réponse de votre point de terminaison dans un compartiment Amazon S3, puis entrez l'emplacement du compartiment Amazon S3.
-
Choisissez Create shadow test (Créer un test shadow).
Une fois les procédures précédentes terminées, vous devriez maintenant avoir un test programmé pour commencer à la date et à l'heure de début que vous avez spécifiées. Vous pouvez afficher la progression du test à partir d'un tableau de bord. Pour plus d'informations sur l'affichage de votre test et les actions à effectuer, consultez Comment afficher, surveiller et modifier des tests parallèles.
