Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Che cos'è Amazon Managed Workflows per Apache Airflow?
Usa Amazon Managed Workflows for Apache Airflow, un servizio gestito per Apache Airflow
Con Amazon MWAA, puoi utilizzare Apache Airflow e Python per creare flussi di lavoro senza gestire l'infrastruttura per la scalabilità, la disponibilità e la sicurezza. Amazon MWAA si ridimensiona automaticamente per soddisfare le tue esigenze di flusso di lavoro. Si integra con i servizi AWS di sicurezza per fornire un accesso rapido e sicuro ai tuoi dati.
Funzionalità
Consulta le seguenti funzionalità per scoprire come Amazon MWAA può semplificare la gestione dei flussi di lavoro di Apache Airflow.
-
Configurazione automatica del flusso d'aria: configura rapidamente Apache Airflow scegliendo una versione di Apache Airflow quando crei un ambiente Amazon MWAA. Amazon MWAA configura Apache Airflow per te utilizzando la stessa interfaccia utente di Apache Airflow e il codice open source disponibili su Internet.
-
Scalabilità automatica: ridimensiona automaticamente i worker di Apache Airflow (le risorse di calcolo che eseguono le attività) impostando limiti minimi e massimi. Amazon MWAA monitora i lavoratori nel tuo ambiente e utilizza il suo componente di scalabilità automatica per aggiungere lavoratori per soddisfare la domanda, fino al numero massimo definito.
-
Built-in autenticazione: abilita l'autenticazione e l'autorizzazione basate sui ruoli per il tuo server web Apache Airflow definendo le politiche di controllo degli accessi in (IAM). Configurazione della classe di ambiente Amazon MWAA AWS Identity and Access Management I lavoratori di Apache Airflow adottano queste politiche per l'accesso sicuro ai servizi. AWS
-
Built-in sicurezza: i worker e gli scheduler di Apache Airflow vengono eseguiti in Amazon VPC di Amazon MWAA. I dati vengono inoltre crittografati automaticamente utilizzando AWS Key Management Service, quindi il tuo ambiente è sicuro per impostazione predefinita.
-
Modalità di accesso pubbliche o private: accedi al tuo server web Apache Airflow utilizzando una modalità di accesso privata o pubblica. La modalità di accesso alla rete pubblica utilizza un endpoint VPC per il server web Apache Airflow accessibile tramite Internet. La modalità di accesso alla rete privata utilizza un endpoint VPC per il server web Apache Airflow accessibile nel VPC. In entrambi i casi, l'accesso per gli utenti di Apache Airflow è controllato dalla politica di controllo degli accessi definita in (IAM) e SSO. AWS Identity and Access Management AWS
-
Aggiornamenti e patch semplificati: Amazon MWAA fornisce periodicamente nuove versioni di Apache Airflow. Il team di Amazon MWAA aggiornerà e correggerà le immagini per queste versioni.
-
Monitoraggio del flusso di lavoro: accedi ai log di Apache Airflow e alle metriche di Apache Airflow in Amazon CloudWatch per identificare i ritardi nelle attività di Apache Airflow o gli errori del flusso di lavoro senza la necessità di strumenti aggiuntivi di terze parti. Amazon MWAA invia automaticamente le metriche ambientali e, se abilitato, Apache Airflow accede a. CloudWatch
-
AWS integrazione: Amazon MWAA supporta integrazioni open source con Amazon Athena AWS Batch, Amazon CloudWatch, Amazon DynamoDB AWS DataSync, Amazon EMR AWS Fargate, Amazon EKS, Amazon Data Firehose AWS Glue, AWS Lambda, Amazon Redshift, Amazon SQS, Amazon SNS, Amazon SageMaker AI e Amazon S3, oltre a centinaia di operatori e sensori integrati e creati dalla community.
-
Flotte di lavoratori: Amazon MWAA offre supporto per l'utilizzo di container per scalare la flotta di lavoratori su richiesta e ridurre le interruzioni dello scheduler utilizzando Amazon ECS on AWS Fargate. Sono supportati gli operatori che richiamano attività sui contenitori Amazon ECS e gli operatori Kubernetes che creano ed eseguono pod su un cluster Kubernetes.
Architecture
Tutti i componenti contenuti nella confezione esterna (nell'immagine seguente) vengono visualizzati come un unico ambiente Amazon MWAA nel tuo account. Lo scheduler e i worker di Apache Airflow sono AWS Fargate contenitori che si connettono alle sottoreti private di Amazon VPC per il tuo ambiente. Ogni ambiente dispone di un proprio metadatabase Apache Airflow gestito da Fargate, accessibile ai contenitori Fargate dello scheduler e dei lavoratori tramite un AWS endpoint VPC protetto privatamente.
Amazon CloudWatch, Amazon S3, Amazon SQS e AWS KMS sono separati da Amazon MWAA e devono essere accessibili dagli scheduler e dai lavoratori di Apache Airflow nei contenitori Fargate. Gli scheduler Apache Airflow multipli sono disponibili solo con Apache Airflow v2 e versioni successive. Scopri di più sul ciclo di vita delle attività di Apache Airflow su Concepts nella guida di riferimento di Apache Airflow. https://airflow.apache.org/docs/apache-airflow/stable/concepts.html#task-lifecycle
È possibile accedere al server web Apache Airflow tramite Internet selezionando la modalità di accesso Apache Airflow sulla rete pubblica o all'interno del VPC selezionando la modalità di accesso Apache Airflow per la rete privata. In entrambi i casi, l'accesso per gli utenti di Apache Airflow è controllato dalla politica di controllo degli accessi definita in (IAM). AWS Identity and Access Management
Nota
A partire da Apache Airflow v3, il server web Amazon MWAA ospita anche il server API di esecuzione di Apache Airflow.
Integrazione
La comunità open source di Apache Airflow, attiva e in crescita, fornisce operatori (plug-in che semplificano le connessioni ai servizi) per l'integrazione di Apache Airflow con i servizi. AWS Ciò include servizi come Amazon S3, Amazon Redshift, Amazon EMR e Amazon SageMaker AI AWS Batch, oltre a servizi su altre piattaforme cloud.
L'utilizzo di Apache Airflow con Amazon MWAA supporta completamente l'integrazione con AWS servizi e strumenti di terze parti diffusi come Apache Hadoop, Presto, Hive e Spark per eseguire attività di elaborazione dei dati. Amazon MWAA si impegna a mantenere la compatibilità con l'API Apache Airflow e Amazon MWAA intende fornire integrazioni affidabili ai AWS servizi e renderli disponibili alla comunità, oltre a partecipare allo sviluppo delle funzionalità della community.
Per un codice di esempio, fai riferimento a. Esempi di codice per Amazon Managed Workflows for Apache Airflow
Versioni supportate
Amazon MWAA supporta più versioni di Apache Airflow. Per ulteriori informazioni sulle versioni di Apache Airflow supportate e sui componenti di Apache Airflow inclusi in ciascuna versione, fai riferimento a. Versioni di Apache Airflow su Flussi di lavoro gestiti da Amazon per Apache Airflow
Fasi successive
-
Inizia con un unico CloudFormation modello che crea un bucket Amazon S3 per i tuoi DAG Airflow e i file di supporto, un Amazon VPC con routing pubblico e un ambiente Amazon MWAA in. Tutorial di avvio rapido per Amazon Managed Workflows per Apache Airflow
-
Inizia in modo incrementale creando un bucket Amazon S3 per i tuoi DAG Airflow e i file di supporto, scegliendo tra una delle tre opzioni di rete Amazon VPC e creando un ambiente Amazon MWAA in. Nozioni di base sui Flussi di lavoro gestiti di Amazon per Apache Airflow
