View a markdown version of this page

AWS modello di responsabilità condivisa per Amazon MWAA - Amazon Managed Workflows for Apache Airflow
Infrastruttura che AWS gestisceCodice del flusso di lavoro e contenuti che gestisciEccellenza operativa gestita da teConfigurazione e accesso gestiti da teRisorse correlate

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

AWS modello di responsabilità condivisa per Amazon MWAA

Questa guida si applica agli ambienti Amazon MWAA Provisioned. In un ambiente con provisioning, si seleziona la classe di ambiente e si configurano i limiti di scalabilità dei worker e dei server Web.

La sicurezza e la conformità sono una responsabilità condivisa tra voi AWS . Il modello di responsabilità condivisa descrive questo modello come sicurezza del cloud e sicurezza nel cloud: Per Amazon MWAA, questo modello va oltre la sicurezza e si estende alla responsabilità operativa. Operiamo, gestiamo e controlliamo i componenti sottostanti. Questi vanno dal sistema operativo host e dal livello di virtualizzazione fino alla sicurezza fisica delle strutture in cui opera il servizio.

Sei responsabile della gestione dei contenuti che distribuisci nel tuo ambiente. Su Amazon MWAA, tali contenuti includono il codice DAG e le Python dipendenze in cui dichiari. requirements.txt Include anche i plug-in personalizzati e qualsiasi script di avvio fornito. La tua responsabilità copre la configurazione, la rete e le autorizzazioni che scegli. Sei inoltre responsabile del funzionamento quotidiano dei flussi di lavoro eseguiti nell'ambiente. Amazon MWAA gestisce i contenuti che fornisci man mano che li fornisci. Amazon MWAA non lo ispeziona, lo convalida o lo modifica.

Nota

Sebbene AWS gestisca l'infrastruttura per il tuo ambiente, i dati che i flussi di lavoro scrivono nel database di metadati influiscono direttamente sulle prestazioni del servizio. La crescita illimitata dei metadati può ridurre i tempi di risposta dello scheduler e del server web. Sei responsabile della gestione del volume di dati nel tuo ambiente.

Infrastruttura che AWS gestisce

Siamo responsabili della protezione dell'infrastruttura che gestisce AWS i servizi in Cloud AWS. Per Amazon MWAA, ciò include quanto segue:

  • Configurazione di Apache Airflow: Amazon MWAA configura Apache Airflow per te. Utilizza la stessa interfaccia utente di Apache Airflow e il codice open source disponibili su Internet. Per ulteriori informazioni, consulta Che cos'è Amazon Managed Workflows per Apache Airflow?.

  • Elaborazione per i componenti gestiti: Amazon MWAA fornisce e gestisce l'elaborazione per il tuo ambiente. AWS Fargate Questo computer esegue lo scheduler, i worker e il server web di Apache Airflow. Amazon MWAA inoltre esegue il provisioning e gestisce il database di metadati Apache Airflow. Per ogni ambiente, Amazon MWAA crea un Amazon VPC di AWS proprietà che ospita il server web e il database di metadati. Lo scheduler e i worker si connettono alle sottoreti private di Amazon VPC per il tuo ambiente, che possiedi e configuri. Per ulteriori informazioni, consulta Esplora l'architettura di rete Amazon MWAA nella Amazon MWAA Migration Guide.

  • Il database di metadati Apache Airflow: Amazon MWAA fornisce e gestisce il database di metadati Apache Airflow per ogni ambiente. Rimani responsabile del volume di dati che i tuoi flussi di lavoro vi scrivono. Per ulteriori informazioni, consulta Eccellenza operativa gestita da te.

  • Immagini delle versioni e patch: Amazon MWAA crea immagini di container che raggruppano le versioni di Apache Airflow con altri file binari e librerie comuni. Python Amazon MWAA corregge tali immagini. Un ambiente continua a utilizzare la versione dell'immagine specificata finché non si esegue un'azione di aggiornamento dell'ambiente per spostarlo a una versione successiva. Per ulteriori informazioni, consulta Informazioni sulle versioni Amazon MWAA. Le definizioni delle immagini sono disponibili nel repository https://github.com/aws/amazon-mwaa-docker-images amazon-mwaa-docker-images sul sito Web. GitHub

  • Ciclo di vita del supporto delle versioni: Amazon MWAA pubblica la disponibilità e le date di fine del supporto per ciascuna versione di Apache Airflow. Amazon MWAA ti avvisa Health Dashboard quando un ambiente del tuo account esegue una versione prossima alla fine del supporto. Per l'impegno e le date di supporto attuali, consulta. End-of-support versioni

  • Scalabilità automatica dei componenti gestiti: Amazon MWAA ridimensiona i lavoratori e il server web in risposta alla domanda. La scalabilità rimane entro i limiti configurati. Scegliete la classe di ambiente, le impostazioni di scalabilità del worker e del webserver e il numero dello scheduler. Per ulteriori informazioni, consultare Configurazione della scalabilità automatica dei lavoratori Amazon MWAA, Configurazione della scalabilità automatica del server web Amazon MWAA e Configurazione della classe di ambiente Amazon MWAA.

  • Crittografia dei dati: Amazon MWAA crittografa i dati a riposo e in transito. Amazon MWAA attribuisce inoltre le sovvenzioni richieste a una chiave KMS gestita dal cliente per tuo conto. Per ulteriori informazioni, consulta Protezione dei dati nei flussi di lavoro gestiti da Amazon per Apache Airflow.

  • Metriche e registri: Amazon MWAA pubblica le metriche ambientali su Amazon. CloudWatch Amazon MWAA fornisce i log di Apache Airflow ai Logs per i tipi di log abilitati CloudWatch . Per ulteriori informazioni, consulta Panoramica del monitoraggio su Amazon MWAA.

  • Programmi di conformità: Third-party gli auditor testano e verificano regolarmente l'efficacia della sicurezza. AWS Per ulteriori informazioni, consulta Convalida della conformità per Amazon Managed Workflows for Apache Airflow.

Codice del flusso di lavoro e contenuti che gestisci

L'utente è responsabile del mantenimento del controllo sui contenuti ospitati su questa infrastruttura. Questo contenuto include quanto segue:

  • Codice DAG: le definizioni DAG che copi dags nella cartella del tuo bucket Amazon S3. Sei responsabile dell'accesso di tali DAG e delle operazioni che eseguono. Per ulteriori informazioni, consulta Aggiungere o aggiornare DAGs.

  • Pythondipendenze: le librerie che installi caricando un requirements.txt file nel tuo bucket Amazon S3. Ciò include la sicurezza e la compatibilità di ogni pacchetto richiesto dai flussi di lavoro. I pacchetti incompatibili o che richiedono molte risorse possono ridurre le prestazioni dello scheduler e dei lavoratori o impedire l'avvio dei contenitori. Per ulteriori informazioni, consulta Installazione delle dipendenze Python e Gestione delle dipendenze Python in requirements.txt.

  • Plugin personalizzati: il contenuto del plugins.zip file che carichi nel tuo bucket Amazon S3. Ti consigliamo di verificare il contenuto del file prima di caricarlo. Per ulteriori informazioni, consulta Installazione di plugin personalizzati.

  • Script di avvio: lo script di shell che Amazon MWAA esegue su ogni componente all'avvio. È inoltre necessario specificare l'ID di versione di Amazon S3 per lo script. Per ulteriori informazioni, consulta Utilizzo di uno script di avvio con Amazon MWAA.

  • Test: convalida dei DAG, dei plug-in personalizzati e delle Python dipendenze prima di distribuirli in un ambiente. Consigliamo di testare gli aggiornamenti della versione di Apache Airflow in un ambiente di sviluppo prima di applicarli alla produzione. Puoi utilizzare l'immagine del contenitore amazon-mwaa-docker-images sul sito Web per sviluppare e testare localmente. GitHub

  • Il tuo bucket Amazon S3 e il suo contenuto: la policy del bucket e gli ACL degli oggetti per il bucket associato al tuo ambiente. Amazon MWAA non esegue il backup del contenuto del bucket per tuo conto. Ti consigliamo di abilitare il controllo delle versioni e configurare la replica tra regioni se i DAG, i plug-in e i file dei requisiti richiedono una postura di disaster recovery. Ti consigliamo inoltre di non archiviare altri oggetti nel bucket o di non utilizzare il bucket con un altro servizio.

  • Dati che inserisci: ti consigliamo vivamente di non inserire mai informazioni riservate o sensibili in tag o campi in formato libero come il campo Nome.

Eccellenza operativa gestita da te

Amazon MWAA gestisce l'infrastruttura gestita. Mantieni la responsabilità dei flussi di lavoro eseguiti su tale infrastruttura. Il codice, le dipendenze e la configurazione implementati determinano le prestazioni dell'ambiente. Amazon MWAA pubblica le metriche e i log che descrivono lo stato dell'ambiente. L'interpretazione dei dati, l'impostazione degli allarmi e l'azione in base a ciò che segnalano sono responsabilità dell'utente.

  • Monitoraggio dello stato dell'ambiente: revisione delle CloudWatch metriche pubblicate da Amazon MWAA per il tuo ambiente. Queste includono metriche relative a contenitori, code e database che consentono di rilevare la saturazione e il degrado. Per ulteriori informazioni, consulta Monitoraggio e metriche per Amazon Managed Workflows for Apache Airflow e Metriche relative a contenitori, code e database per Amazon MWAA.

  • Dashboard e allarmi: creazione di CloudWatch dashboard e allarmi che ti avvisano quando il tuo ambiente si avvicina ai suoi limiti. Per ulteriori informazioni, consulta Dashboard di monitoraggio e allarmi su Amazon MWAA.

  • Analisi dei log: attivazione dei tipi di log di Apache Airflow necessari. Quindi si analizzano i log dello scheduler, del worker, del server web e delle attività per diagnosticare gli errori del flusso di lavoro. Per ulteriori informazioni, consulta Accesso ai log Airflow in Amazon CloudWatch e Risoluzione dei problemi: CloudWatch registri ed CloudTrail errori.

  • CloudWatch quote di servizio: garanzia che le CloudWatch quote dell'account siano in grado di gestire il volume di log prodotto dall'ambiente. Il superamento CloudWatch delle quote di log, ad esempio, CreateLogStream può causare un degrado dei lavoratori. Per ulteriori informazioni, consulta CloudWatch Quote dei log.

  • Manutenzione del database dei metadati: mantenere leggero il database di metadati di Apache Airflow. Rimuovi regolarmente i metadati di cui i tuoi flussi di lavoro non hanno più bisogno. Un database di metadati illimitato può ridurre le prestazioni dello scheduler e del server web. Per ulteriori informazioni, consulta Pulizia del database Aurora PostgreSQL in un ambiente Amazon MWAA.

  • Frequenza di progettazione e pianificazione del DAG: il numero di DAG, le attività per DAG e gli intervalli di pianificazione determinano direttamente il carico sullo scheduler gestito. Amazon MWAA non limita o rifiuta i carichi di lavoro che superano la capacità dell'ambiente. È necessario progettare i DAG in modo che si adattino alle risorse configurate.

  • Governance delle risorse delle attività: impostazione dei timeout a livello di attività, delle dimensioni del pool di Apache Airflow e dei limiti di concorrenza per giorno. Amazon MWAA non applica guardrail per attività per tuo conto. Senza queste impostazioni, un singolo DAG a lunga durata o ad alta concorrenza può consumare tutti i lavoratori disponibili.

  • Ottimizzazione della capacità e delle prestazioni: scelta della classe di ambiente, dei limiti di scalabilità dei worker e dei server web e delle opzioni di configurazione di Apache Airflow più adatte al carico di lavoro. La scalabilità automatica opera entro i limiti configurati e non compensa i carichi di lavoro che superano la capacità di progettazione dell'ambiente. È necessario dimensionare correttamente la classe di ambiente per il profilo del carico di lavoro. Per ulteriori informazioni, consulta Ottimizzazione delle prestazioni per Apache Airflow su Amazon MWAA e Configurazione della classe di ambiente Amazon MWAA.

  • Modifiche apportate tramite uno script di avvio: uno script di avvio viene eseguito su ogni componente dell'ambiente. Può modificare la configurazione di tali componenti. L'utente è responsabile delle modifiche apportate in questo modo, compresi gli eventuali effetti sulla stabilità dell'ambiente. Si consiglia di testare uno script di avvio prima di applicarlo a un ambiente di produzione. Per ulteriori informazioni, consulta Utilizzo di uno script di avvio con Amazon MWAA.

  • Aggiornamenti dell'ambiente: l'avvio di un aggiornamento dell'ambiente è un'azione. Gli aggiornamenti attivano il riavvio del contenitore e possono influire sui flussi di lavoro in esecuzione. Sei responsabile della scelta del momento dell'aggiornamento e della valutazione dell'effetto sulle attività in corso. Ti consigliamo di eseguire l'aggiornamento durante una finestra temporale a tua scelta, quando non sono in esecuzione DAG critici. Per effettuare l'aggiornamento senza mettere in pausa o riattivare i DAG, prendi in considerazione gli aggiornamenti semplificati, che consentono ai lavoratori di completare le attività in corso prima di chiudere. Si applicano condizioni e limiti; per ulteriori informazioni, consulta Aggiornare un ambiente Amazon MWAA. Aggiornamento di un ambiente Amazon MWAA

  • First-level triage: utilizzo delle metriche e dei log disponibili per diagnosticare i problemi prima di contattare l'assistenza. AWS Il livello di dettaglio che il AWS supporto può utilizzare per aiutarti dipende dal livello di registrazione abilitato per il tuo ambiente.

  • Cross-environment orchestrazione: coordinamento dei flussi di lavoro in più ambienti Amazon MWAA. Se utilizzi meccanismi come l'API REST di Apache Airflow o sensori esterni per collegare gli ambienti, sei responsabile di tale logica di coordinamento.

  • Seguendo le best practice di Amazon MWAA: applicazione delle linee guida documentate per le prestazioni, la gestione delle dipendenze e la configurazione dell'ambiente. Per ulteriori informazioni, consulta Le migliori pratiche per Amazon Managed Workflows for Apache Airflow.

Configurazione e accesso gestiti da te

Sei tu a scegliere come configurare il tuo ambiente e chi può accedervi. L'utente è responsabile di quanto segue:

  • Mantenere aggiornata la tua versione: sei responsabile di mantenere aggiornate le tue versioni di Amazon MWAA. L'aggiornamento di un ambiente a una versione più recente di Apache Airflow è un'azione che devi avviare. Per ulteriori informazioni, consulta Modifica della versione di Apache Airflow e End-of-support versioni.

  • Il ruolo di esecuzione: Amazon MWAA non può aggiungere o modificare politiche di autorizzazione su un ruolo di esecuzione esistente dopo la creazione di un ambiente. È necessario aggiornare il ruolo di esecuzione con le autorizzazioni aggiuntive necessarie all'ambiente. Per ulteriori informazioni, consulta Ruolo di esecuzione di Amazon MWAA.

  • Controllo degli accessi IAM: le politiche che determinano chi può accedere al tuo ambiente e all'interfaccia utente di Apache Airflow. Concedi le autorizzazioni solo alle risorse e alle azioni di cui gli utenti hanno bisogno. Per ulteriori informazioni, consulta AWS Identity and Access Management e Accesso a un ambiente Amazon MWAA.

  • Privilegi utente di Apache Airflow: Apache Airflow non è multi-tenant. Gli autori del DAG possono scrivere DAG che modificano i privilegi utente di Apache Airflow e interagiscono con il database di metadati sottostante. Consigliamo di utilizzare ambienti separati per team separati con accesso di scrittura DAG. Per ulteriori informazioni, consulta Le migliori pratiche di sicurezza in Apache Airflow.

  • Modalità di accesso al server Web: scelta PUBLIC_ONLY o PRIVATE_ONLY per l'accesso all'interfaccia utente di Apache Airflow. Si tratta di una decisione di sicurezza che determina se l'endpoint del server web è raggiungibile da Internet. Per ulteriori informazioni, consulta Sicurezza nel tuo VPC su Amazon MWAA.

  • Configurazione di rete: Amazon VPC, sottoreti, gruppi di sicurezza e ACL di rete. Ciò include le regole in entrata e in uscita che indirizzano il traffico sui gateway NAT. Se scegli di gestire i tuoi endpoint Amazon VPC, sei responsabile della creazione di tali endpoint. Per ulteriori informazioni, consulta Sicurezza nel tuo VPC su Amazon MWAA e Gestione dei tuoi endpoint Amazon VPC su Amazon MWAA.

  • Scelta della chiave di crittografia: se utilizzare una chiave KMS AWS di proprietà o una chiave KMS gestita dal cliente. Se si utilizza una chiave KMS gestita dal cliente, è necessario allegare alla chiave le dichiarazioni politiche richieste. Per ulteriori informazioni, consulta Protezione dei dati nei flussi di lavoro gestiti da Amazon per Apache Airflow.

  • Segreti e connessioni: le credenziali utilizzate dai flussi di lavoro. Consigliamo di archiviare i segreti in Secrets Manager. Per ulteriori informazioni, consulta Configurazione di una connessione Apache Airflow utilizzando un AWS Secrets Manager Secret.

  • Opzioni di configurazione di Apache Airflow: le opzioni di configurazione che sostituisci nel tuo ambiente. Per ulteriori informazioni, consulta Utilizzo delle opzioni di configurazione di Apache Airflow su Amazon MWAA.

Risorse correlate