Domande frequenti su Amazon MWAA

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Questa pagina descrive le domande più comuni che potresti incontrare quando usi Amazon Managed Workflows for Apache Airflow.

Versioni supportate

Cosa supporta Amazon MWAA per Apache Airflow v2?

Per scoprire cosa supporta Amazon MWAA, consulta. Versioni di Apache Airflow su Amazon Managed Workflows per Apache Airflow

Perché le versioni precedenti di Apache Airflow non sono supportate?

Supportiamo solo la versione più recente (al momento del lancio) di Apache Airflow Apache Airflow v1.10.12 a causa di problemi di sicurezza delle versioni precedenti.

Quale versione di Python devo usare?

Le seguenti versioni di Apache Airflow sono supportate su Amazon Managed Workflows for Apache Airflow.

Per ulteriori informazioni sulla migrazione delle distribuzioni di Apache Airflow autogestite o sulla migrazione di un ambiente Amazon MWAA esistente, incluse le istruzioni per il backup del database di metadati, consulta la Amazon MWAA Migration Guide.

Quale versione di pip Amazon MWAA utilizza?

Per gli ambienti che eseguono Apache Airflow v1.10.12, Amazon MWAA installa la versione 21.1.2. pip

Per gli ambienti che eseguono Apache Airflow v2 e versioni successive, Amazon MWAA installa la versione 21.3.1. pip

Casi d'uso

Quando AWS Step Functions devo usare vs. Amazon MWAA?

Specifiche ambientali

Quanto spazio di archiviazione delle attività è disponibile per ogni ambiente?

Lo spazio di archiviazione delle attività è limitato a 20 GB ed è specificato da Amazon ECS Fargate 1.4. La quantità di RAM è determinata dalla classe di ambiente specificata. Per ulteriori informazioni sulle classi di ambiente, vedereConfigurazione della classe di ambiente Amazon MWAA.

Qual è il sistema operativo predefinito utilizzato per gli ambienti Amazon MWAA?

Gli ambienti Amazon MWAA vengono creati su istanze che eseguono Amazon Linux 2 per le versioni 2.6 e precedenti e su istanze che eseguono Amazon Linux 2023 per le versioni 2.7 e successive.

Posso usare un'immagine personalizzata per il mio ambiente Amazon MWAA?

Le immagini personalizzate non sono supportate. Amazon MWAA utilizza immagini basate su AMI Amazon Linux. Amazon MWAA installa i requisiti aggiuntivi eseguendo pip3 -r install i requisiti specificati nel file requirements.txt che aggiungi al bucket Amazon S3 per l'ambiente.

Amazon MWAA è conforme alla normativa HIPAA?

Amazon MWAA è idoneo all'Health Insurance Portability and Accountability Act (HIPAA). Se disponi di un HIPAA Business Associate Addendum (BAA) AWS, puoi utilizzare Amazon MWAA per flussi di lavoro che gestiscono Protected Health Information (PHI) in ambienti creati a partire dal 14 novembre 2022.

Amazon MWAA supporta le istanze Spot?

Amazon MWAA attualmente non supporta i tipi di istanze EC2 Amazon Spot on-demand per Apache Airflow. Tuttavia, un ambiente Amazon MWAA può attivare istanze Spot su, ad esempio, Amazon EMR e Amazon. EC2

Amazon MWAA supporta un dominio personalizzato?

Per poter utilizzare un dominio personalizzato per il tuo nome host Amazon MWAA, esegui una delle seguenti operazioni:

Posso accedere al mio ambiente tramite SSH?

Sebbene SSH non sia supportato in un ambiente Amazon MWAA, è possibile utilizzare un DAG per eseguire comandi bash utilizzando. BashOperator Per esempio:

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago
with DAG(dag_id="any_bash_command_dag", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
      cli_command = BashOperator(
          task_id="bash_command",
          bash_command="{{ dag_run.conf['command'] }}"
      )

Per attivare il DAG nell'interfaccia utente di Apache Airflow, usa:

{ "command" : "your bash command"}

Perché è richiesta una regola di autoreferenziazione nel gruppo di sicurezza VPC?

Creando una regola di autoreferenziazione, limiti l'origine allo stesso gruppo di sicurezza nel VPC e non è aperta a tutte le reti. Per ulteriori informazioni, consulta Sicurezza nel tuo VPC su Amazon MWAA.

Posso nascondere ambienti a gruppi diversi in IAM?

Puoi limitare l'accesso specificando un nome di ambiente in AWS Identity and Access Management, tuttavia, il filtro di visibilità non è disponibile nella AWS console: se un utente può vedere un ambiente, può vedere tutti gli ambienti.

Posso archiviare dati temporanei su Apache Airflow Worker?

I tuoi operatori Apache Airflow possono archiviare dati temporanei sui Workers. Apache Airflow Workers può accedere ai file temporanei /tmp nei container Fargate del tuo ambiente.

Posso specificare più di 25 Apache Airflow Workers?

Sì. Sebbene sia possibile specificare fino a 25 worker Apache Airflow sulla console Amazon MWAA, è possibile configurarne fino a 50 in un ambiente richiedendo un aumento della quota. Per ulteriori informazioni, consulta la sezione Richiesta di un aumento di quota.

Amazon MWAA supporta Amazon condivise VPCs o sottoreti condivise?

Amazon MWAA non supporta Amazon condivise VPCs o sottoreti condivise. L'Amazon VPC selezionato quando crei un ambiente deve essere di proprietà dell'account che sta tentando di creare l'ambiente. Tuttavia, puoi indirizzare il traffico da un Amazon VPC nell'account Amazon MWAA a un VPC condiviso. Per ulteriori informazioni e per vedere un esempio di routing del traffico verso un Amazon VPC condiviso, consulta Routing centralizzato in uscita verso Internet nella Amazon VPC Transit Gateways Guide.

Posso creare o integrare code Amazon SQS personalizzate per gestire l'esecuzione delle attività e l'orchestrazione del flusso di lavoro in Apache Airflow?

No, non è possibile creare, modificare o utilizzare code Amazon SQS personalizzate all'interno di Amazon MWAA. Questo perché Amazon MWAA effettua automaticamente il provisioning e gestisce la propria coda Amazon SQS per ogni ambiente Amazon MWAA.

Metriche

Quali metriche vengono utilizzate per determinare se scalare Workers?

Amazon MWAA monitora QueuedTasksand RunningTasksin ingresso CloudWatch per determinare se scalare Apache Airflow Workers nel tuo ambiente. Per ulteriori informazioni, consulta Monitoraggio e parametri per Amazon Managed Workflows for Apache Airflow.

Posso creare metriche personalizzate in? CloudWatch

Non sulla CloudWatch console. Tuttavia, puoi creare un DAG in cui scrivere metriche personalizzate. CloudWatch Per ulteriori informazioni, consulta Utilizzo di un DAG per scrivere metriche personalizzate in CloudWatch.

DAGs, Operatori, connessioni e altre domande

Posso usare ilPythonVirtualenvOperator?

Non PythonVirtualenvOperator è supportato in modo esplicito su Amazon MWAA, ma puoi creare un plug-in personalizzato che utilizza il. PythonVirtualenvOperator Per il codice di esempio, consulta Creazione di un plugin personalizzato per Apache Airflow PythonVirtualenvOperator.

Quanto tempo impiega Amazon MWAA a riconoscere un nuovo file DAG?

DAGs vengono sincronizzati periodicamente dal bucket Amazon S3 al tuo ambiente. Se aggiungi un nuovo file DAG, Amazon MWAA impiega circa 300 secondi per iniziare a utilizzare il nuovo file. Se aggiorni un DAG esistente, Amazon MWAA impiega circa 30 secondi per riconoscere gli aggiornamenti.

Questi valori, 300 secondi per i nuovi DAGs e 30 secondi per gli aggiornamenti a quelli esistenti DAGs, corrispondono rispettivamente alle opzioni di configurazione di Apache Airflow. dag_dir_list_intervalmin_file_process_interval

Perché il mio file DAG non viene prelevato da Apache Airflow?

Di seguito sono riportate le possibili soluzioni per questo problema:

Posso rimuovere un plugins.zip or requirements.txt da un ambiente?

Al momento, non è possibile rimuovere plugins.zip o requirements.txt da un ambiente una volta aggiunti, ma stiamo lavorando al problema. Nel frattempo, una soluzione alternativa consiste nel puntare rispettivamente a un file di testo o zip vuoto. Per ulteriori informazioni, consulta Eliminazione di file su Amazon S3.

Perché non vedo i miei plugin nel menu Admin Plugins di Apache Airflow v2.0.2?

Per motivi di sicurezza, il server Web Apache Airflow su Amazon MWAA ha un accesso di rete limitato e non installa plugin né dipendenze Python direttamente sul server Web Apache Airflow per ambienti versione 2.0.2. Il plug-in mostrato consente ad Amazon MWAA di autenticare gli utenti Apache Airflow in (IAM). AWS Identity and Access Management

Per poter installare plugin e dipendenze Python direttamente sul server web, consigliamo di creare un nuovo ambiente con Apache Airflow v2.2 e versioni successive. Amazon MWAA installa dipendenze Python e plugin personalizzati direttamente sul server Web per Apache Airflow v2.2 e versioni successive.

Posso usare gli operatori AWS del Database Migration Service (DMS)?

Amazon MWAA supporta gli operatori DMS. Tuttavia, questo operatore non può essere utilizzato per eseguire azioni sul database di metadati PostgreSQL di Amazon Aurora associato a un ambiente Amazon MWAA.

Quando accedo all'API REST di Airflow utilizzando AWS le credenziali, posso aumentare il limite di limitazione a più di 10 transazioni al secondo (TPS)?

Sì, è possibile. Per aumentare il limite di limitazione, contatta l'AWS Assistenza clienti.