Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Esplora l'architettura MWAA di rete Amazon
La sezione seguente descrive i componenti principali che compongono un MWAA ambiente Amazon e il set di AWS servizi con cui ogni ambiente si integra per gestire le proprie risorse, proteggere i dati e fornire monitoraggio e visibilità per i flussi di lavoro.
Argomenti
MWAAComponenti Amazon
MWAAGli ambienti Amazon sono costituiti dai seguenti quattro componenti principali:
-
Scheduler: analizza e monitora tutte le attività e mette in coda le DAGs attività per l'esecuzione quando vengono soddisfatte le dipendenze DAG di a. Amazon MWAA distribuisce lo scheduler come AWS Fargate cluster con un minimo di 2 scheduler. Puoi aumentare il numero di pianificatori fino a cinque, a seconda del carico di lavoro. Per ulteriori informazioni sulle classi di MWAA ambiente Amazon, consulta Amazon MWAA Environment Class.
-
Lavoratori: una o più attività Fargate che eseguono le attività pianificate. Il numero di lavoratori per l'ambiente è determinato da un intervallo tra il numero minimo e massimo specificato. Amazon MWAA inizia l'auto-scaling dei lavoratori quando il numero di attività in coda e in esecuzione è superiore a quello che i lavoratori esistenti sono in grado di gestire. Quando le attività in esecuzione e in coda si sommano a zero per più di due minuti, MWAA Amazon riduce il numero di lavoratori al minimo. Per ulteriori informazioni su come Amazon MWAA gestisce gli operatori di auto-scaling, consulta Amazon MWAA automatic scaling.
-
Server Web: esegue l'interfaccia utente web di Apache Airflow. È possibile configurare il server Web con accesso alla rete pubblica o privata. In entrambi i casi, l'accesso agli utenti di Apache Airflow è controllato dalla politica di controllo degli accessi definita in AWS Identity and Access Management ()IAM. Per ulteriori informazioni sulla configurazione delle politiche di IAM accesso per il tuo ambiente, consulta Accedere a un MWAA ambiente Amazon.
-
Database: archivia i metadati sull'ambiente Apache Airflow e sui flussi di lavoro, inclusa la cronologia delle esecuzioni. DAG Il database è un SQL database Aurora Postgre single-tenant gestito e accessibile ai container Fargate AWS di Scheduler e Workers tramite un endpoint Amazon protetto privatamente. VPC
Ogni MWAA ambiente Amazon interagisce anche con una serie di AWS servizi per gestire una varietà di attività, tra cui l'archiviazione e l'accesso DAGs e le dipendenze delle attività, la protezione dei dati inattivi e la registrazione e il monitoraggio dell'ambiente. Il diagramma seguente illustra i diversi componenti di un ambiente AmazonMWAA.
Nota
Il servizio Amazon non VPC è condivisoVPC. Amazon ne MWAA crea uno AWS proprietario VPC per ogni ambiente che crei.
-
Amazon S3: Amazon MWAA archivia tutte le risorse del flusso di lavoro, ad DAGs esempio requisiti e file di plug-in, in un bucket Amazon S3. Per ulteriori informazioni sulla creazione del bucket come parte della creazione dell'ambiente e sul caricamento delle MWAA risorse Amazon, consulta Create an Amazon S3 bucket for Amazon MWAA nella Amazon User Guide. MWAA
-
Amazon SQS — Amazon MWAA utilizza Amazon SQS per mettere in coda le attività del flusso di lavoro con un esecutore Celery
. -
AmazonECR: Amazon ECR ospita tutte le immagini di Apache Airflow. Amazon supporta MWAA solo immagini Apache Airflow AWS gestite.
-
AWS KMS— Amazon MWAA utilizza AWS KMS per garantire che i tuoi dati siano al sicuro quando sono inattivi. Per impostazione predefinita, Amazon MWAA utilizza AWS KMS chiavi AWS gestite, ma puoi configurare il tuo ambiente per utilizzare la tua chiave gestita dal cliente AWS KMS . Per ulteriori informazioni sull'utilizzo della tua AWS KMS chiave gestita dal cliente, consulta Customer managed keys for Data Encryption nella Amazon MWAA User Guide.
-
CloudWatch— Amazon MWAA si integra CloudWatch e fornisce i log e le metriche ambientali di Apache Airflow CloudWatch, consentendoti di monitorare le risorse Amazon MWAA e risolvere i problemi.
Connettività
Il tuo MWAA ambiente Amazon deve accedere a tutti i AWS servizi con cui si integra. Il ruolo di MWAA esecuzione di Amazon controlla il modo in cui viene concesso l'accesso MWAA ad Amazon per connettersi ad altri AWS servizi per tuo conto. Per la connettività di rete, puoi fornire l'accesso pubblico a Internet ad Amazon VPC o creare VPC endpoint Amazon. Per ulteriori informazioni sulla configurazione degli VPC endpoint Amazon (AWS PrivateLink) per il tuo ambiente, consulta Gestire l'accesso agli VPC endpoint su Amazon MWAA nella Amazon MWAA User Guide.
Amazon MWAA installa i requisiti sullo scheduler e sull'operatore. Se i tuoi requisiti provengono da un PyPi.whlfile come plug-in personalizzati per il tuo ambiente.
Quando configuri Apache Airflow in modalità privata, l'interfaccia utente di Apache Airflow può essere accessibile al tuo Amazon solo tramite gli endpoint Amazon. VPC VPC
Per ulteriori informazioni sul networking, consulta Networking nella Amazon MWAA User Guide.
