Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

CloudWatch solution : NVIDIA GPU charge de travail sur Amazon EC2

Cette solution vous permet de configurer la collecte de out-of-the-box métriques à l'aide d' CloudWatch agents pour les NVIDIA GPU charges de travail exécutées sur des EC2 instances. En outre, il vous aide à configurer un tableau de CloudWatch bord préconfiguré. Pour des informations générales sur toutes les solutions CloudWatch d'observabilité, consultezCloudWatch solutions d'observabilité.

Prérequis

Cette solution est pertinente pour les conditions suivantes :

Avantages

La solution assure la NVIDIA surveillance et fournit des informations précieuses pour les cas d'utilisation suivants :

Voici les principaux avantages de cette solution :

L'image suivante est un exemple du tableau de bord de cette solution.

Coûts

Cette solution crée et utilise les ressources de votre compte. L'utilisation standard vous est facturée, y compris les frais suivants :

Pour plus d'informations sur CloudWatch les tarifs, consultez Amazon CloudWatch Pricing.

Le calculateur de prix peut vous aider à estimer les coûts mensuels approximatifs liés à l'utilisation de cette solution.

CloudWatch configuration de l'agent pour cette solution

L' CloudWatch agent est un logiciel qui s'exécute de manière continue et autonome sur vos serveurs et dans des environnements conteneurisés. Il collecte des métriques, des journaux et des traces à partir de votre infrastructure et de vos applications et les envoie à CloudWatch X-Ray.

Pour plus d'informations sur l' CloudWatch agent, consultezCollectez des métriques, des journaux et des traces avec l' CloudWatch agent.

La configuration de l'agent de cette solution collecte un ensemble de mesures pour vous aider à commencer à surveiller et à observer votre NVIDIAGPU. L' CloudWatch agent peut être configuré pour collecter plus de NVIDIA GPU métriques que ce que le tableau de bord affiche par défaut. Pour obtenir la liste de tous les NVIDIA GPU indicateurs que vous pouvez collecter, consultezCollectez NVIDIA GPU des métriques.

Configuration de l'agent pour cette solution

Les métriques collectées par l'agent sont définies dans la configuration de l'agent. La solution fournit des configurations d'agents permettant de collecter les métriques recommandées avec des dimensions adaptées au tableau de bord de la solution.

Utilisez la configuration d' CloudWatch agent suivante sur EC2 les instances avec NVIDIAGPUs. La configuration sera stockée en tant que paramètre dans SSM le magasin de paramètres, comme détaillé plus loin dansÉtape 2 : enregistrer le fichier de configuration d' CloudWatch agent recommandé dans le magasin de paramètres de Systems Manager.

{
    "metrics": {
        "namespace": "CWAgent",
        "append_dimensions": {
            "InstanceId": "${aws:InstanceId}"
        },
        "metrics_collected": {
            "nvidia_gpu": {
                "measurement": [
                    "utilization_gpu",
                    "temperature_gpu",
                    "power_draw",
                    "utilization_memory",
                    "fan_speed",
                    "memory_total",
                    "memory_used",
                    "memory_free",
                    "pcie_link_gen_current",
                    "pcie_link_width_current",
                    "encoder_stats_session_count",
                    "encoder_stats_average_fps",
                    "encoder_stats_average_latency",
                    "clocks_current_graphics",
                    "clocks_current_sm",
                    "clocks_current_memory",
                    "clocks_current_video"
                ],
                "metrics_collection_interval": 60
            }
        }
    },
    "force_flush_interval": 60
}

Déployez l'agent correspondant à votre solution

Il existe plusieurs approches pour installer l' CloudWatch agent, selon le cas d'utilisation. Nous recommandons d'utiliser Systems Manager pour cette solution. Il fournit une expérience de console et simplifie la gestion d'un parc de serveurs gérés au sein d'un seul AWS compte. Les instructions de cette section utilisent Systems Manager et sont destinées aux situations où l' CloudWatch agent n'est pas exécuté avec des configurations existantes. Vous pouvez vérifier si l' CloudWatch agent est en cours d'exécution en suivant les étapes décrites dansVérifiez que l' CloudWatch agent est en cours d'exécution.

Si vous exécutez déjà l' CloudWatch agent sur les EC2 hôtes sur lesquels la charge de travail est déployée et que vous gérez les configurations de l'agent, vous pouvez ignorer les instructions de cette section et suivre votre mécanisme de déploiement existant pour mettre à jour la configuration. Assurez-vous de fusionner la configuration de l'agent NVIDIA GPU avec votre configuration d'agent existante, puis de déployer la configuration fusionnée. Si vous utilisez Systems Manager pour stocker et gérer la configuration de l' CloudWatch agent, vous pouvez fusionner la configuration avec la valeur de paramètre existante. Pour plus d'informations, consultez la section Gestion des fichiers de configuration des CloudWatch agents.

Le processus de déploiement comprend les étapes suivantes :

Étape 1 : Assurez-vous que les EC2 instances cibles disposent des IAM autorisations requises

Vous devez autoriser Systems Manager à installer et configurer l' CloudWatch agent. Vous devez également autoriser l' CloudWatch agent à publier des données télémétriques depuis votre EC2 instance vers. CloudWatch Assurez-vous que les mazonSSMManaged InstanceCore IAM politiques CloudWatchAgentServerPolicyet A sont attachées au IAM rôle attaché à l'instance.

Étape 2 : enregistrer le fichier de configuration d' CloudWatch agent recommandé dans le magasin de paramètres de Systems Manager

Parameter Store simplifie l'installation de l' CloudWatch agent sur une EC2 instance en stockant et en gérant de manière sécurisée les paramètres de configuration, éliminant ainsi le besoin de valeurs codées en dur. Cela garantit un processus de déploiement plus sûr et plus flexible, permettant une gestion centralisée et des mises à jour simplifiées des configurations sur plusieurs instances.

Procédez comme suit pour enregistrer le fichier de configuration d' CloudWatch agent recommandé en tant que paramètre dans Parameter Store.

Étape 3 : Installation de l' CloudWatch agent et application de la configuration à l'aide d'un AWS CloudFormation modèle

Vous pouvez l'utiliser AWS CloudFormation pour installer l'agent et le configurer de manière à utiliser la configuration d' CloudWatch agent que vous avez créée lors des étapes précédentes.

Si vous souhaitez d'abord modifier le fichier modèle pour le personnaliser, choisissez l'option Télécharger un fichier modèle sous Create Stack Wizard pour télécharger le modèle modifié. Pour plus d'informations, consultez la section Création d'une pile sur AWS CloudFormation console.

Étape 4 : vérifier que la configuration de l'agent est correctement configurée

Vous pouvez vérifier si l' CloudWatch agent est installé en suivant les étapes décrites dansVérifiez que l' CloudWatch agent est en cours d'exécution. Si l' CloudWatch agent n'est pas installé et n'est pas en cours d'exécution, assurez-vous que tout est correctement configuré.

Si tout est correctement configuré, vous devriez voir les NVIDIA GPU statistiques publiées sur CloudWatch. Vous pouvez consulter la CloudWatch console pour vérifier qu'ils sont publiés.

Création du tableau de bord de NVIDIA GPU la solution

Le tableau de bord fourni par cette solution présente NVIDIA GPUs les métriques en les agrégeant et en les présentant pour toutes les instances. Le tableau de bord présente une répartition des principaux contributeurs (les 10 meilleurs widgets par métrique) pour chaque métrique. Cela vous permet d'identifier rapidement les valeurs aberrantes ou les instances qui contribuent de manière significative aux indicateurs observés.

Pour créer le tableau de bord, vous pouvez utiliser les options suivantes :

En utilisant la CloudWatch console pour créer un tableau de bord, vous pouvez prévisualiser le tableau de bord avant de le créer et de le débiter.

Si vous souhaitez modifier le fichier modèle pour le personnaliser à quelque fin que ce soit, vous pouvez utiliser l'option Télécharger un fichier modèle sous Create Stack Wizard pour télécharger le modèle modifié. Pour plus d'informations, consultez la section Création d'une pile sur AWS CloudFormation console. Vous pouvez utiliser ce lien pour télécharger le modèle : https://aws-observability-solutions.s3.amazonaws.com/NVIDIA_GPU_EC2/CloudWatch/CFN/v1.0.0/dashboard-template-1.0.0.json.

Commencez avec le NVIDIA GPU tableau de bord

Voici quelques tâches que vous pouvez essayer avec le nouveau NVIDIA GPU tableau de bord. Ces tâches vous permettent de valider le bon fonctionnement du tableau de bord et de vous fournir une expérience pratique de son utilisation pour surveiller votre NVIDIAGPUs. En les essayant, vous vous familiariserez avec la navigation dans le tableau de bord et l'interprétation des indicateurs visualisés.

Examiner GPU l'utilisation

Dans la section Utilisation, recherchez les widgets GPUUtilisation et Utilisation de la mémoire. Ils indiquent le pourcentage de temps pendant lequel la mémoire GPU est activement utilisée pour les calculs et le pourcentage de mémoire globale lue ou écrite, respectivement. Un taux d'utilisation élevé peut indiquer des problèmes de performance potentiels ou le besoin de ressources supplémentaires. GPU

Analyser l'utilisation GPU de la mémoire

Dans la section Mémoire, recherchez les widgets Mémoire totale, Mémoire utilisée et Mémoire libre. Ils fournissent des informations sur la capacité de mémoire globale de la GPUs et sur la quantité de mémoire actuellement consommée ou disponible. La pression de la mémoire peut entraîner des problèmes de performances ou out-of-memory des erreurs. Il est donc important de surveiller ces indicateurs et de s'assurer que suffisamment de mémoire est disponible pour vos charges de travail.

Surveillez la température et la consommation d'énergie

Dans la section Température/Puissance, recherchez les widgets GPUTempérature et Consommation électrique. Ces paramètres sont essentiels pour garantir que vous fonctionnez GPUs dans des limites thermiques et de puissance sûres.

Identifier les performances de l'encodeur

Dans la section Encodeur, recherchez les widgets Nombre de sessions d'encodeurFPS, moyenne et latence moyenne. Ces statistiques sont pertinentes si vous exécutez des charges de travail d'encodage vidéo sur votreGPUs. Surveillez ces indicateurs pour vous assurer que vos encodeurs fonctionnent de manière optimale et identifiez les éventuels goulots d'étranglement ou problèmes de performances.

Vérifier l'état du PCIe lien

Dans la PCIesection, trouvez les widgets de génération de PCIe liens et de largeur de PCIe lien. Ces mesures fournissent des informations sur le PCIe lien qui GPU connecte le système hôte. Assurez-vous que le lien fonctionne à la génération et à la largeur prévues afin d'éviter d'éventuelles limitations de performances dues à des PCIe goulots d'étranglement.

Révisez les GPU horloges

Dans la section Horloge, recherchez les widgets Horloge graphique, Horloge SM, Horloge mémoire et horloge vidéo. Ces mesures indiquent les fréquences de fonctionnement actuelles des différents GPU composants. La surveillance de ces horloges peut aider à identifier les problèmes potentiels liés à la mise à l'échelle de l'GPUhorloge ou à la limitation de fréquence, susceptibles d'avoir un impact sur les performances.