Création d'un test shadow - Amazon SageMaker
PrérequisSaisir les détails du test shadow Saisir les paramètres du test shadow

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création d'un test shadow

Vous pouvez créer un test shadow pour comparer les performances d'une variante shadow à celles d'une variante de production. Vous pouvez exécuter le test sur un point de terminaison existant qui répond à des demandes d'inférence ou vous pouvez créer un nouveau point de terminaison sur lequel exécuter le test.

Pour créer un shadow test, vous devez spécifier les informations suivantes :

  • Variante de production qui reçoit et répond à 100 % des demandes d'inférence entrantes.

  • Variante shadow qui reçoit un pourcentage des demandes entrantes, répliquées à partir de la variante de production, mais qui ne renvoie aucune réponse.

Pour chaque variante, vous pouvez SageMaker contrôler le modèle, le type d'instance et le nombre d'instances. Vous pouvez configurer le pourcentage de demandes entrantes, appelé pourcentage d'échantillonnage du trafic, que vous souhaitez répliquer vers votre variante fictive. SageMaker gère la réplication des demandes vers votre variante fictive et vous pouvez modifier le pourcentage d'échantillonnage du trafic lorsque votre test est planifié ou en cours d'exécution. Vous pouvez activer la capture de données en option pour journaliser les demandes et les réponses de vos variantes de production et de vos variantes shadow.

Note

SageMaker prend en charge un maximum d'une variante d'ombre par point de terminaison. Pour un point de terminaison doté d'une variante shadow, il ne peut y avoir qu'une seule variante de production.

Vous pouvez programmer le début du test à tout moment et le poursuivre pendant une durée spécifiée. La durée par défaut est de 7 jours et la durée maximale est de 30 jours. Une fois le test terminé, le point de terminaison revient à l'état dans lequel il se trouvait avant le début du test. Cela garantit que vous n'avez pas à nettoyer manuellement les ressources à la fin du test.

Vous pouvez surveiller un test en cours d'exécution via un tableau de bord de la SageMaker console. Le tableau de bord fournit une comparaison côte à côte des métriques d'invocation et des métriques d'instance entre les variantes de production et les variantes shadow, ainsi qu'une vue tabulaire contenant des statistiques de métriques pertinentes. Ce tableau de bord est également disponible pour les tests terminés. Une fois que vous avez examiné les métriques, vous pouvez choisir de promouvoir la variante shadow en tant que nouvelle variante de production ou de conserver la variante de production existante. Une fois que vous avez promu la variante shadow, elle répond à toutes les demandes entrantes. Pour de plus amples informations, veuillez consulter Promotion d'une variante shadow.

La procédure suivante explique comment créer un test parallèle via la SageMaker console. Le flux de travail varie selon que vous souhaitez utiliser un point de terminaison existant ou en créer un nouveau pour le test shadow.

Prérequis

Avant de créer un test parallèle avec la SageMaker console, vous devez disposer d'un SageMaker modèle prêt à être utilisé. Pour plus d'informations sur la création d'un SageMaker modèle, consultezDéployez des modèles pour une inférence en temps réel.

Vous pouvez commencer par des tests fictifs avec un point de terminaison existant avec une variante de production et une variante fantôme, un point de terminaison existant avec uniquement une variante de production ou simplement les SageMaker modèles que vous souhaitez comparer. Les tests shadow permettent de créer un point de terminaison et d'ajouter des variantes avant le début du test.

Note

Certaines fonctionnalités du point de terminaison peuvent rendre votre point de terminaison incompatible avec les tests parallèles. Si votre point de terminaison utilise l'une des fonctionnalités suivantes, vous ne pouvez pas utiliser de tests instantanés sur votre point de terminaison, et votre demande de configuration de tests instantanés entraînera des erreurs de validation.

  • Inférence sans serveur

  • Inférence asynchrone

  • Conteneurs de marketplace

  • Points de terminaison à conteneurs multiples

  • Points de terminaison multi-modèles

  • Points de terminaison qui utilisent des instances Inf1 (basées sur Inferentia)

Saisir les détails du test shadow

Pour commencer à créer votre test shadow, remplissez la page Enter shadow test details(Saisir les détails du test shadow) en procédant comme suit :

  1. Ouvrez la SageMaker console.

  2. Dans le volet de navigation de gauche, sélectionnez Inference (Inférence), puis Shadow tests (Tests shadow).

  3. Choisissez Create shadow test (Créer un test shadow).

  4. Sous Name (Nom), saisissez un nom pour le test.

  5. (Facultatif) Dans le champ Description, saisissez une description du test.

  6. (Facultatif) Spécifiez Tags (Balises) à l'aide des paires Key (Clé) et Value (Valeur).

  7. Choisissez Suivant.

Saisir les paramètres du test shadow

Après avoir rempli la page Enter shadow test details(Saisir les détails du test shadow), remplissez la page Enter shadow test settings (Saisir les paramètres du test shadow). Si vous possédez déjà un point de terminaison d' SageMaker inférence et une variante de production, suivez le flux de travail Utiliser un point de terminaison existant. Si vous n'avez pas encore de point de terminaison, suivez le flux de travail Create a new endpoint (Créer un point de terminaison).

Use an existing endpoint

Si vous souhaitez utiliser un point de terminaison existant pour votre test, remplissez la page Enter shadow test settings (Saisir les paramètres du test shadow) en procédant comme suit :

  1. Choisissez un rôle auquel la AmazonSageMakerFullAccess IAM politique est attachée.

  2. Choisissez Use an existing endpoint (Utiliser un point de terminaison existant), puis choisissez l'un des points de terminaison disponibles.

  3. (Facultatif) Pour chiffrer le volume de stockage sur votre terminal, choisissez une KMS clé existante ou choisissez Entrer une KMS clé dans la liste déroulante sous Clé ARN de chiffrement. Si vous choisissez la deuxième option, un champ permettant de saisir la KMS clé ARN apparaît. Entrez la KMS clé ARN dans ce champ.

  4. Si vous avez plusieurs variantes de production derrière ce point de terminaison, supprimez celles que vous ne souhaitez pas utiliser pour le test. Vous pouvez supprimer une variante de modèle en la sélectionnant, puis en choisissant Remove (Supprimer).

  5. Si vous n'avez pas encore de variante shadow, ajoutez-en une. Pour ajouter une variante shadow, procédez comme suit :

    1. Choisissez Ajouter.

    2. Choisissez Shadow variant (Variante shadow).

    3. Dans la boîte de dialogue Add model (Ajouter un modèle), sélectionnez le modèle à utiliser pour votre variante shadow.

    4. Choisissez Save (Enregistrer).

  6. (Facultatif) À l'étape précédente, la variante shadow est ajoutée avec les paramètres par défaut. Pour modifier ces paramètres, sélectionnez la variante shadow et choisissez Edit (Modifier). La boîte de dialogue Edit shadow variant (Modifier la variante shadow) s'affiche. Pour plus d'informations sur comment remplir cette boîte de dialogue, consultez Modifier un test shadow.

  7. Dans la section Schedule (Calendrier), entrez la durée du test en procédant comme suit :

    1. Choisissez la case sous Duration (Durée). Un calendrier contextuel s'affiche.

    2. Sélectionnez les dates de début et de fin dans le calendrier ou saisissez les dates de début et de fin dans les champs Start date (Date de début) et End date (Date de fin), respectivement.

    3. (Facultatif) Pour les champs Start time (Heure de début) et End time (Heure de fin), entrez les heures de début et de fin, respectivement, au format 24 heures.

    4. Choisissez Appliquer.

    La durée minimale est de 1 heure et la durée maximale de 30 jours.

  8. (Facultatif) Activez l'option Enable data capture -Activer la capture de données) pour enregistrer les informations de demande d'inférence et de réponse de votre point de terminaison dans un compartiment Amazon S3, puis entrez l'emplacement du compartiment Amazon S3.

  9. Choisissez Create shadow test (Créer un test shadow).

Create a new endpoint

Si n'avez pas de point de terminaison existant ou si vous voulez créez un nouveau point de terminaison pour votre test, remplissez la page Enter shadow test settings (Saisir les paramètres du test shadow) en procédant comme suit :

  1. Choisissez un rôle auquel la AmazonSageMakerFullAccess IAM politique est attachée.

  2. Choisissez Create a new endpoint (Créer un point de terminaison).

  3. Sous Name (Nom), saisissez un nom pour le point de terminaison.

  4. Ajoutez une variante de production et une variante shadow au point de terminaison :

    • Pour ajouter une variante de production, choisissez Add (Ajouter), puis choisissez Production variant (Variante de production). Dans la boîte de dialogue Add model (Ajouter un modèle), sélectionnez le modèle à utiliser pour votre variante de production, puis choisissez Save (Enregistrer).

    • Pour ajouter une variante shadow, choisissez Add (Ajouter), puis Shadow variant (Variante shadow). Dans la boîte de dialogue Add model (Ajouter un modèle), sélectionnez le modèle à utiliser pour votre variante shadow, puis choisissez Save (Enregistrer).

  5. (Facultatif) À l'étape précédente, la variante shadow est ajoutée avec les paramètres par défaut. Pour modifier ces paramètres, sélectionnez la variante shadow et choisissez Edit (Modifier). La boîte de dialogue Edit shadow variant (Modifier la variante shadow) s'affiche. Pour plus d'informations sur comment remplir cette boîte de dialogue, consultez Modifier un test shadow.

  6. Dans la section Schedule (Calendrier), entrez la durée du test en procédant comme suit :

    1. Choisissez la case sous Duration (Durée). Un calendrier contextuel s'affiche.

    2. Sélectionnez les dates de début et de fin dans le calendrier ou saisissez les dates de début et de fin sous Start date (Date de début) et End date (Date de fin), respectivement.

    3. (Facultatif) Sous Start time (Heure de début) et End time (Heure de fin), entrez les heures de début et de fin, respectivement, au format 24 heures.

    4. Choisissez Appliquer.

    La durée minimale est de 1 heure et la durée maximale de 30 jours.

  7. (Facultatif) Activez l'option Enable data capture -Activer la capture de données) pour enregistrer les informations de demande d'inférence et de réponse de votre point de terminaison dans un compartiment Amazon S3, puis entrez l'emplacement du compartiment Amazon S3.

  8. Choisissez Create shadow test (Créer un test shadow).

Une fois les procédures précédentes terminées, vous devriez maintenant avoir un test programmé pour commencer à la date et à l'heure de début que vous avez spécifiées. Vous pouvez afficher la progression du test à partir d'un tableau de bord. Pour plus d'informations sur l'affichage de votre test et les actions à effectuer, consultez Comment afficher, surveiller et modifier des tests parallèles.