Metriche relative a container, code e database per Amazon MWAA - Amazon Managed Workflows for Apache Airflow

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Metriche relative a container, code e database per Amazon MWAA

Oltre ai parametri di Apache Airflow, puoi monitorare i componenti sottostanti dei tuoi ambienti Amazon Managed Workflows for Apache Airflow utilizzando CloudWatch, che raccoglie dati grezzi ed elabora i dati in metriche leggibili quasi in tempo reale. Grazie a queste metriche ambientali, avrai una maggiore visibilità sugli indicatori chiave di prestazione per aiutarti a dimensionare in modo appropriato gli ambienti e a risolvere i problemi relativi ai flussi di lavoro. Queste metriche si applicano a tutte le versioni di Apache Airflow supportate su Amazon. MWAA

Amazon MWAA fornirà l'utilizzo della memoria per ogni container Amazon Elastic Container Service (AmazonECS) CPU e SQL istanza Amazon Aurora Postgre e i parametri di Amazon Simple Queue Service (SQSAmazon) per il numero di messaggi e l'età del messaggio più vecchio, i parametri di Amazon Relational Database Service (Amazon) per le connessioni al database, la profondità della coda del disco, le operazioni di scrittura, la latenza e il throughput e RDS Amazon Metriche di Amazon Proxy. RDS Queste metriche includono anche il numero di lavoratori di base, lavoratori aggiuntivi, pianificatori e server Web.

Queste statistiche vengono conservate per 15 mesi, in modo da poter accedere alle informazioni storiche e avere una prospettiva migliore sul motivo per cui una pianificazione non funziona e risolvere i problemi sottostanti. È anche possibile impostare allarmi che controllano determinate soglie e inviare notifiche o intraprendere azioni quando queste soglie vengono raggiunte. Per ulteriori informazioni, consulta la Amazon CloudWatch User Guide.

Termini

Spazio dei nomi

Un namespace è un contenitore per le CloudWatch metriche di un servizio. AWS Per AmazonMWAA, il namespace è. AWS/MWAA

CloudWatch metriche

Una CloudWatch metrica rappresenta un insieme ordinato nel tempo di punti dati specifici per. CloudWatch

Dimensione

Una dimensione è una coppia nome-valore che fa parte dell'identità di un parametro.

Unità

Una statistica ha un'unità di misura. Per AmazonMWAA, le unità includono Count.

Dimensioni

Questa sezione descrive il raggruppamento delle CloudWatch dimensioni per i MWAA parametri di Amazon. CloudWatch

Dimensione Descrizione

Cluster

Metriche per il minimo di tre ECS container Amazon utilizzati da un MWAA ambiente Amazon per eseguire i componenti di Apache Airflow: scheduler, worker e web server.

Queue

Metriche per le SQS code Amazon che separano lo scheduler dai lavoratori. Quando i lavoratori leggono i messaggi, vengono considerati in volo e non disponibili per gli altri lavoratori. I messaggi diventano disponibili per la lettura da parte degli altri lavoratori se non vengono eliminati prima del timeout di visibilità di 12 ore.

Database

Metriche dei cluster Aurora utilizzati da Amazon. MWAA Ciò include le metriche per l'istanza del database principale e una replica di lettura per supportare le operazioni di lettura. Amazon MWAA pubblica i parametri del database per entrambe le READER istanzeWRITER.

Accesso ai parametri nella console CloudWatch

Questa sezione descrive come accedere ai MWAA parametri Amazon in CloudWatch.

Per visualizzare i parametri prestazionali per una dimensione
  1. Apri la pagina Metriche sulla console. CloudWatch

  2. Usa il selettore AWS della regione per selezionare la tua regione.

  3. Scegli lo spazio dei MWAA nomi AWS/.

  4. Nella scheda Tutte le metriche, scegli una dimensione. Ad esempio, Cluster.

  5. Scegli una CloudWatch metrica per una dimensione. Ad esempio, NumSchedulerso CPUUtilization. Quindi, scegli Grafica di tutti i risultati della ricerca.

  6. Scegli la scheda Metriche grafiche per visualizzare le metriche delle prestazioni.

Elenco delle metriche

Le tabelle seguenti elencano i parametri del cluster, della coda e dei servizi di database per Amazon. MWAA Per visualizzare le descrizioni delle metriche emesse direttamente da Amazon, ECS Amazon o Amazon SQSRDS, scegli il rispettivo link alla documentazione.

Parametri cluster

Le seguenti metriche si applicano a ogni programmatore, lavoratore di base, lavoratore aggiuntivo e server web. Per ulteriori informazioni e descrizioni di ogni metrica del cluster, consulta Metriche e dimensioni disponibili nella Amazon ECS Developer Guide.

Spazio dei nomi Parametro Unità

AWS/MWAA

CPUUtilization

Percentuale

AWS/MWAA

MemoryUtilization

Percentuale

Valutazione del numero di container aggiuntivi per worker e server web

È possibile utilizzare le metriche dei componenti fornite nella dimensione Cluster, come descritto nella procedura seguente, per valutare il numero di worker o server Web aggiuntivi utilizzati da un ambiente in un determinato momento. È possibile farlo rappresentando graficamente la MemoryUtilizationmetrica CPUUtilizationo impostando il tipo di statistica su Sample Count. Il valore risultante è il numero totale di RUNNING attività per il componente. AdditionalWorker La comprensione del numero di istanze di worker aggiuntive utilizzate dall'ambiente può aiutare a valutare la scalabilità dell'ambiente e consentire di ottimizzare il numero di lavoratori aggiuntivi.

Workers
Per valutare il numero di lavoratori aggiuntivi utilizzando il AWS Management Console
  1. Scegliete lo MWAA spazio dei nomi AWS/.

  2. Nella scheda Tutte le metriche, scegli la dimensione Cluster.

  3. Nella dimensione Cluster, per AdditionalWorker, scegli la CPUUtilizationo la MemoryUtilizationmetrica.

  4. Nella scheda Metriche grafiche, imposta Periodo su 1 minuto e Statistica su Numero di campioni.

Web servers
Per valutare il numero di server Web aggiuntivi utilizzando il AWS Management Console
  1. Scegliete lo MWAA spazio dei nomi AWS/.

  2. Nella scheda Tutte le metriche, scegli la dimensione Cluster.

  3. Nella dimensione Cluster, per AdditionalWebservers, scegli la CPUUtilizationo la MemoryUtilizationmetrica.

  4. Nella scheda Metriche grafiche, imposta Periodo su 1 minuto e Statistica su Numero di campioni.

Per ulteriori informazioni, consulta Service RUNNING task count nella Amazon Elastic Container Service Developer Guide.

Parametri del database

Le seguenti metriche si applicano a ogni istanza di database associata all'MWAAambiente Amazon.

Spazio dei nomi Parametro Unità

AWS/MWAA

CPUUtilization

Percentuale

AWS/MWAA

DatabaseConnections

Conteggio

AWS/MWAA

DiskQueueDepth

Conteggio

AWS/MWAA

FreeableMemory

Byte

AWS/MWAA

VolumeWriteIOPS

Conta ogni cinque minuti

AWS/MWAA

WriteIOPS

Conteggio al secondo

AWS/MWAA

WriteLatency

Secondi

AWS/MWAA

WriteThroughput

Byte al secondo

Parametri coda

Per ulteriori informazioni sulle unità e le descrizioni dei seguenti parametri di coda, consulta Parametri disponibili CloudWatch per Amazon SQS nella Amazon Simple Queue Service Developer Guide.

Spazio dei nomi Parametro Unità

AWS/MWAA

ApproximateAgeOfOldestTask

Secondi

AWS/MWAA

RunningTasks

Conteggio

AWS/MWAA

QueuedTasks

Conteggio

Parametri di Application Load Balancer

Le metriche di Application Load Balancer si applicano ai server Web in esecuzione nel tuo ambiente. Amazon MWAA utilizza questi parametri per scalare i server Web in base alla quantità di traffico. Per ulteriori informazioni sulle unità e le descrizioni delle seguenti metriche del load balancer, consulta le CloudWatch metriche per il tuo Application Load Balancer nella Application Load Balancer User Guide.

Spazio dei nomi Parametro Unità

AWS/MWAA

ActiveConnectionCount

Conteggio