Affichage du statut du point de terminaison - Amazon SageMaker
Affichage de l'état et de la configuration d'un point de terminaison

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Affichage du statut du point de terminaison

Si vous souhaitez utiliser votre modèle entraîné pour effectuer une inférence sur des données en direct, vous devez déployer votre modèle sur un point de terminaison en temps réel. Pour garantir une latence appropriée de vos prédictions, vous devez vous assurer que les instances hébergeant votre modèle fonctionnent efficacement. La fonction de surveillance des points de terminaison de Model Dashboard affiche des informations en temps réel sur la configuration de vos points de terminaison et vous aide à suivre leurs performances à l'aide de métriques.

Monitor settings (Paramètres du moniteur)

Le tableau de bord du modèle renvoie aux pages détaillées des points de SageMaker terminaison existants qui affichent des graphiques en temps réel des mesures que vous pouvez sélectionner sur Amazon CloudWatch. Dans votre tableau de bord, vous pouvez suivre ces métriques car votre point de terminaison gère les demandes d'inférence en temps réel. Vous trouverez ci-après certaines des métriques que vous pouvez sélectionner :

  • CpuUtilization: somme de l'utilisation de chaque CPU cœur individuel, comprise entre 0 % et 100 %.

  • MemoryUtilization : pourcentage de mémoire utilisée par les conteneurs sur une instance, entre 0 et 100 %.

  • DiskUtilization : pourcentage d'espace disque utilisé par les conteneurs sur une instance, entre 0 et 100 %.

Pour obtenir la liste complète des métriques que vous pouvez consulter en temps réel, veuillez consulter Mesures de surveillance d'Amazon SageMaker avec Amazon CloudWatch.

Runtime settings (Paramètres d'exécution)

Amazon SageMaker prend en charge le dimensionnement automatique (autoscaling) pour vos modèles hébergés. La mise à l'échelle automatique ajuste dynamiquement le nombre d'instances allouées pour un modèle en réponse à des modifications de la charge de travail. Lorsque la charge de travail augmente, la mise à l'échelle automatique met en ligne plus d'instances. Lorsque la charge de travail diminue, la mise à l'échelle automatique supprime les instances inutiles pour que vous n'ayez pas à payer les instances allouées que vous n'utilisez pas. Vous pouvez personnaliser les paramètres d'exécution suivants dans Model Dashboard :

  • Update weights (Mettre à jour les pondérations) : modifiez la quantité de charge de travail attribuée à chaque instance à l'aide d'une pondération numérique. Pour plus d'informations sur la pondération des instances lors du dimensionnement automatique, consultez Configurer la pondération des instances pour Amazon EC2 Auto Scaling.

  • Update instance count (Mettre à jour le nombre d'instances) : modifiez le nombre total d'instances pouvant répondre à votre charge de travail lorsque celle-ci augmente.

Pour plus d'informations sur les paramètres d'exécution des terminaux, consultez CreateEndpointConfig.

Endpoint configuration settings (Paramètres de configuration des points de terminaison)

Les paramètres de configuration des points de terminaison affichent les paramètres que vous avez spécifiés lors de leur création. Ces paramètres indiquent SageMaker les ressources à allouer à votre terminal. Les paramètres suivants sont inclus :

  • Data capture (Capture de données) : vous pouvez choisir de capturer des informations sur les entrées et les sorties de votre point de terminaison. Par exemple, vous pouvez échantillonner le trafic entrant pour voir si les résultats sont corrélés avec les données d'entraînement. Vous pouvez personnaliser la fréquence d'échantillonnage, le format des données stockées et l'emplacement des données stockées sur Amazon S3. Pour plus d'informations sur la configuration de la capture des données, veuillez consulter Capture de données.

  • Production variants (Variantes de production) : voir la discussion précédente dans Runtime settings (Paramètres d'exécution).

  • Configuration d'appel asynchrone : si votre point de terminaison est asynchrone, cette section inclut le nombre maximum de demandes simultanées envoyées par le SageMaker client au conteneur modèle, l'emplacement Amazon S3 de vos notifications de réussite et d'échec, et l'emplacement de sortie des sorties de votre point de terminaison. Pour en savoir plus sur les sorties asynchrones, veuillez consulter Opérations asynchrones sur les terminaux.

  • Encryption key (Clé de chiffrement) : vous pouvez saisir votre clé de chiffrement si vous souhaitez chiffrer vos sorties.

Pour plus d'informations sur les paramètres de configuration des terminaux, consultez CreateEndpointConfig.

Affichage de l'état et de la configuration d'un point de terminaison

Pour consulter l'état et la configuration du point de terminaison d'un modèle, procédez comme suit :

  1. Ouvrez la SageMaker console.

  2. Sélectionnez Governance (Gouvernance) dans le volet de gauche.

  3. Sélectionnez Model Dashboard.

  4. Dans la section Models (Modèles) du Model Dashboard, sélectionnez le nom du modèle de point de terminaison que vous souhaitez consulter.

  5. Sélectionnez le nom du point de terminaison dans la section Endpoints (Points de terminaison).