Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Outre les métriques Apache Airflow, vous pouvez surveiller les composants sous-jacents de vos flux de travail Amazon Managed Workflows pour les environnements Apache Airflow à l'aide d'un CloudWatch système qui collecte des données brutes et les traite en métriques lisibles quasiment en temps réel. Grâce à ces indicateurs environnementaux, vous bénéficierez d'une meilleure visibilité sur les indicateurs de performance clés pour vous aider à dimensionner correctement vos environnements et à résoudre les problèmes liés à vos flux de travail. Ces statistiques s'appliquent à toutes les versions d'Apache Airflow prises en charge sur AmazonMWAA.
Amazon MWAA fournira CPU et utilisera la mémoire pour chaque conteneur Amazon Elastic Container Service (AmazonECS) et chaque SQL instance Amazon Aurora Postgre, ainsi que des métriques Amazon Simple Queue Service (AmazonSQS) pour le nombre de messages et l'âge du message le plus ancien, des métriques Amazon Relational Database Service (RDSAmazon) pour les connexions aux bases de données, la profondeur des files d'attente, les opérations d'écriture, la latence et le débit, et des métriques Amazon RDS Proxy. Ces indicateurs incluent également le nombre de travailleurs de base, de travailleurs supplémentaires, de planificateurs et de serveurs Web.
Ces statistiques sont conservées pendant 15 mois, afin que vous puissiez accéder aux informations historiques, avoir une meilleure idée des raisons pour lesquelles un calendrier échoue et résoudre les problèmes sous-jacents. Vous pouvez également définir des alarmes qui surveillent certains seuils et envoient des notifications ou prennent des mesures lorsque ces seuils sont atteints. Pour plus d'informations, consultez le guide de CloudWatch l'utilisateur Amazon.
Conditions
- Espace de noms
-
Un espace de noms est un conteneur pour les CloudWatch métriques d'un AWS service. Pour AmazonMWAA, l'espace de noms est
AWS/MWAA
. - CloudWatch métriques
-
Une CloudWatch métrique représente un ensemble chronologique de points de données spécifiques à CloudWatch.
- Dimension
-
Une dimension est une paire nom-valeur qui fait partie de l'identité d'une métrique.
- Unité
-
Une statistique possède une unité de mesure. Pour AmazonMWAA, les unités incluent le nombre.
Dimensions
Cette section décrit le regroupement des CloudWatch dimensions pour les MWAA métriques Amazon dans CloudWatch.
Dimension | Description |
---|---|
Cluster |
Mesures relatives aux trois ECS conteneurs Amazon au minimum utilisés par un MWAA environnement Amazon pour exécuter les composants Apache Airflow : planificateur, serveur de travail et serveur Web. |
File d’attente |
Mesures relatives aux SQS files d'attente Amazon qui dissocient le planificateur des employés. Lorsque les travailleurs lisent les messages, ils sont considérés comme étant en vol et ne sont pas disponibles pour les autres travailleurs. Les messages peuvent être lus par les autres employés s'ils ne sont pas supprimés avant le délai de visibilité de 12 heures. |
Base de données |
Métriques des clusters Aurora utilisés par AmazonMWAA. Cela inclut des métriques pour l'instance de base de données principale et une réplique de lecture pour prendre en charge les opérations de lecture. Amazon MWAA publie des métriques de base de données pour les deux WRITER instances READER et pour les instances. |
Accès aux métriques dans la CloudWatch console
Cette section décrit comment accéder à vos MWAA statistiques Amazon dans CloudWatch.
Pour consulter les indicateurs de performance d'une dimension
-
Ouvrez la page Metrics
sur la CloudWatch console. -
Utilisez le sélecteur de AWS région pour sélectionner votre région.
-
Choisissez l'espace de MWAA noms AWS/.
-
Dans l'onglet Toutes les mesures, choisissez une dimension. Par exemple, Cluster.
-
Choisissez une CloudWatch métrique pour une dimension. Par exemple, NumSchedulers ou CPUUtilization. Choisissez ensuite Représenter graphiquement tous les résultats de recherche.
-
Choisissez l'onglet Mesures graphiques pour afficher les mesures de performance.
Liste des métriques
Les tableaux suivants répertorient les métriques des services de cluster, de file d'attente et de base de données pour AmazonMWAA. Pour consulter les descriptions des métriques directement émises par Amazon ECSSQS, Amazon ou AmazonRDS, choisissez le lien de documentation correspondant.
Rubriques
Métriques du cluster
Les mesures suivantes s'appliquent à chaque planificateur, à chaque collaborateur de base, à chaque collaborateur supplémentaire et à chaque serveur Web. Pour plus d'informations et une description de chaque métrique de cluster, consultez la section Mesures et dimensions disponibles dans le manuel Amazon ECS Developer Guide.
Espace de noms | Mesure | Unité |
---|---|---|
|
|
Pourcentage |
|
|
Pourcentage |
Évaluation du nombre de conteneurs de travailleurs et de serveurs Web supplémentaires
Vous pouvez utiliser les métriques des composants fournies sous la dimension Cluster, comme décrit dans la procédure suivante, pour évaluer le nombre de travailleurs supplémentaires, ou de serveurs Web, qu'un environnement utilise à un moment donné. Pour ce faire, vous pouvez représenter graphiquement la métrique CPUUtilizationou la MemoryUtilizationmétrique et définir le type de statistique sur Sample Count. La valeur résultante est le nombre total de RUNNING
tâches pour le AdditionalWorker
composant. Comprendre le nombre d'instances de travail supplémentaires utilisées par votre environnement peut vous aider à évaluer l'évolution de votre environnement et à optimiser le nombre de travailleurs supplémentaires.
Pour évaluer le nombre de travailleurs supplémentaires à l'aide du AWS Management Console
-
Choisissez l'espace de MWAA noms AWS/.
-
Dans l'onglet Toutes les mesures, choisissez la dimension Cluster.
-
Sous la dimension Cluster, pour le AdditionalWorker, choisissez soit la métrique, CPUUtilizationsoit la MemoryUtilizationmétrique.
-
Dans l'onglet Mesures graphiques, définissez la période sur 1 minute et la statistique sur le nombre d'échantillons.
Pour plus d'informations, consultez la section Nombre de RUNNING
tâches de service dans le manuel Amazon Elastic Container Service Developer Guide.
Métriques de base de données
Les mesures suivantes s'appliquent à chaque instance de base de données associée à l'MWAAenvironnement Amazon.
Espace de noms | Mesure | Unité |
---|---|---|
|
|
Pourcentage |
|
|
Nombre |
|
|
Nombre |
|
|
Octets |
|
|
Comptez toutes les cinq minutes |
|
|
Nombre par seconde |
|
|
Secondes |
|
|
Octets par seconde |
Métriques de file d'attente
Pour plus d'informations sur les unités et les descriptions des métriques de file d'attente suivantes, consultez la section CloudWatch Mesures disponibles pour Amazon SQS dans le manuel Amazon Simple Queue Service Developer Guide.
Espace de noms | Mesure | Unité |
---|---|---|
|
|
Secondes |
|
|
Nombre |
|
|
Nombre |
Métriques Application Load Balancer
Les métriques Application Load Balancer s'appliquent aux serveurs Web exécutés dans votre environnement. Amazon MWAA utilise ces indicateurs pour dimensionner vos serveurs Web en fonction du volume de trafic. Pour plus d'informations sur les unités et les descriptions des métriques d'équilibreur de charge suivantes, consultez les CloudWatch métriques de votre Application Load Balancer dans le Guide de l'utilisateur des Application Load Balancers.
Espace de noms | Mesure | Unité |
---|---|---|
|
|
Nombre |