Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Che cos'è Amazon Managed Workflows per Apache Airflow?
Amazon Managed Workflows for Apache Airflow è un servizio di orchestrazione gestito per Apache Airflow
Funzionalità
-
Configurazione automatica del flusso d'aria: configura rapidamente Apache Airflow scegliendo una versione di Apache Airflow quando crei un ambiente Amazon. MWAA Amazon MWAA configura Apache Airflow per te utilizzando la stessa interfaccia utente Apache Airflow e lo stesso codice open source che puoi scaricare da Internet.
-
Scalabilità automatica: ridimensiona automaticamente Apache Airflow Workers impostando il numero minimo e massimo di Worker in esecuzione nel tuo ambiente. Amazon MWAA monitora i Worker nel tuo ambiente e utilizza il suo componente di scalabilità automatica per aggiungere Workers per soddisfare la domanda, fino a raggiungere il numero massimo di Worker da te definito.
-
Autenticazione integrata: abilita l'autenticazione e l'autorizzazione basate sui ruoli per il tuo server Web Apache Airflow definendo le politiche di controllo degli accessi in (). AWS Identity and Access Management IAM Gli Apache Airflow Workers assumono queste politiche per un accesso sicuro ai servizi. AWS
-
Sicurezza integrata: gli Apache Airflow Workers and Scheduler funzionano su Amazon di MWAA Amazon. VPC Inoltre, i dati vengono crittografati automaticamente utilizzando AWS Key Management Service, quindi l'ambiente è sicuro per impostazione predefinita.
-
Modalità di accesso pubblico o privato: accedi al tuo server Web Apache Airflow utilizzando una modalità di accesso privata o pubblica. La modalità di accesso alla rete pubblica utilizza un VPC endpoint per il server Web Apache Airflow accessibile tramite Internet. La modalità di accesso alla rete privata utilizza un VPC endpoint per il server Web Apache Airflow accessibile tramite VPC In entrambi i casi, l'accesso per gli utenti di Apache Airflow è controllato dalla politica di controllo degli accessi definita in AWS Identity and Access Management () e. IAM AWS SSO
-
Aggiornamenti e patch semplificati: Amazon MWAA fornisce periodicamente nuove versioni di Apache Airflow. Il MWAA team di Amazon aggiornerà e correggerà le immagini per queste versioni.
-
Monitoraggio del flusso di lavoro: visualizza i log di Apache Airflow e le metriche di Apache Airflow in CloudWatch Amazon per identificare i ritardi nelle attività di Apache Airflow o gli errori del flusso di lavoro senza la necessità di strumenti di terze parti aggiuntivi. Amazon invia MWAA automaticamente i parametri ambientali e, se abilitati, i log ad Apache Airflow. CloudWatch
-
AWS integrazione: Amazon MWAA supporta integrazioni open source con Amazon Athena, Amazon AWS Batch, CloudWatch Amazon DynamoDB, Amazon, AWS DataSync Amazon, EMR Amazon Data Firehose,, AWS Fargate EKS Amazon AWS Lambda Redshift, AWS Glue Amazon, Amazon, Amazon e Amazon S3, oltre a centinaia di operatori SageMaker e sensori integrati e creati dalla community. SQS SNS
-
Flotte di lavoratori: Amazon MWAA offre supporto per l'utilizzo di container per scalare la flotta di lavoratori su richiesta e ridurre le interruzioni dello scheduler utilizzando Amazon on. ECS AWS Fargate Sono supportati gli operatori che richiamano attività sui ECS contenitori Amazon e gli operatori Kubernetes che creano ed eseguono pod su un cluster Kubernetes.
Architettura
Tutti i componenti contenuti nella confezione esterna (nell'immagine seguente) vengono visualizzati come un unico MWAA ambiente Amazon nel tuo account. Apache Airflow Scheduler e Workers sono AWS Fargate (Fargate) contenitori che si connettono alle sottoreti private di Amazon VPC per il tuo ambiente. Ogni ambiente ha il proprio metadatabase Apache Airflow gestito da AWS che è accessibile ai container Scheduler e Workers Fargate tramite un endpoint protetto privatamente. VPC
Amazon CloudWatch, Amazon S3SQS, Amazon e io AWS KMS sono separati da Amazon MWAA e devono essere accessibili dai container Apache Airflow Scheduler e Workers in the Fargate.
È possibile accedere al server Web Apache Airflow tramite Internet selezionando la modalità di accesso Apache Airflow alla rete pubblica o all'interno della rete privata selezionando la modalità di accesso Apache Airflow alla rete privata VPC. In entrambi i casi, l'accesso per gli utenti di Apache Airflow è controllato dalla politica di controllo degli accessi definita in (). AWS Identity and Access Management IAM
Nota
Più Apache Airflow Scheduler sono disponibili solo con Apache Airflow v2 e versioni successive. Scopri di più sul ciclo di vita delle attività di Apache Airflow su Concepts nella guida di riferimento di Apache Airflow.
Integrazione
La community open source di Apache Airflow, attiva e in crescita, fornisce operatori (plug-in che semplificano le connessioni ai servizi) che consentono ad Apache Airflow di integrarsi con i servizi. AWS Ciò include servizi come Amazon S3, Amazon Redshift, EMR Amazon e AWS Batch SageMaker Amazon, nonché servizi su altre piattaforme cloud.
L'utilizzo di Apache Airflow con Amazon supporta MWAA completamente l'integrazione con AWS servizi e strumenti di terze parti popolari come Apache Hadoop, Presto, Hive e Spark per eseguire attività di elaborazione dei dati. Amazon MWAA si impegna a mantenere la compatibilità con Amazon MWAA API e MWAA intende fornire integrazioni affidabili ai AWS servizi e renderli disponibili alla community, oltre a partecipare allo sviluppo delle funzionalità della community.
Per il codice di esempio, consulta Esempi di codice per Amazon Managed Workflows for Apache Airflow.
Versioni supportate
Amazon MWAA supporta più versioni di Apache Airflow. Per ulteriori informazioni sulle versioni di Apache Airflow supportate e sui componenti di Apache Airflow inclusi in ciascuna versione, consulta. Versioni di Apache Airflow su Amazon Managed Workflows per Apache Airflow
Fasi successive
-
Inizia con un unico AWS CloudFormation modello che crea un bucket Amazon S3 per il tuo Airflow DAGs e i file di supporto, un Amazon VPC con routing pubblico e un ambiente Amazon in. MWAA Tutorial di avvio rapido per Amazon Managed Workflows for Apache Airflow
-
Inizia in modo incrementale creando un bucket Amazon S3 per DAGs Airflow e file di supporto, scegliendo tra una delle tre opzioni di rete VPC Amazon e creando un ambiente Amazon in. MWAA Inizia a usare Amazon Managed Workflows per Apache Airflow
