Risoluzione dei problemi: creazione e aggiornamento di un ambiente Amazon MWAA

Controlla le versioni dei pacchetti. Ti consigliamo di specificare sempre una versione specifica (==) o una versione massima (<=) per le dipendenze Python nel tuo. requirements.txt

Controlla i log di Apache Airflow. Se hai abilitato i log di Apache Airflow, verifica che i gruppi di log siano stati creati correttamente nella pagina dei gruppi di log sulla console. CloudWatch Se vedi log vuoti, il motivo più comune è dovuto alla mancanza di autorizzazioni nel tuo ruolo di esecuzione per CloudWatch Amazon S3, dove vengono scritti i log. Per ulteriori informazioni, consulta Ruolo di esecuzione.

Controlla le opzioni di configurazione di Apache Airflow. Se utilizzi Secrets Manager, verifica che le coppie chiave-valore che hai specificato come opzione di configurazione di Apache Airflow siano configurate correttamente. Per ulteriori informazioni, consulta Configurazione di una connessione Apache Airflow utilizzando un segreto AWS Secrets Manager.

Controlla la configurazione della rete VPC. Per ulteriori informazioni, consulta Ho provato a creare un ambiente ed è bloccato nello stato «Creazione».

Controlla le autorizzazioni del ruolo di esecuzione. Un ruolo di esecuzione è un ruolo AWS Identity and Access Management (IAM) con una politica di autorizzazioni che concede ad Amazon MWAA l'autorizzazione a richiamare le risorse di altri AWS servizi (come Amazon S3, Amazon CloudWatch SQS, Amazon ECR) per tuo conto. Inoltre, è necessario consentire l'accesso alla chiave gestita dal cliente o alla chiave AWS di proprietà. Per ulteriori informazioni, consulta Ruolo di esecuzione.

Per eseguire uno script di risoluzione dei problemi che controlli la configurazione e la configurazione della rete Amazon VPC per il tuo ambiente Amazon MWAA, consulta lo script Verify Environment in Support AWS Tools su. GitHub

Segui i passaggi per allegare una policy JSON al tuo ruolo di esecuzione.

Allega la seguente politica JSON:

{
   "Effect":"Allow",
   "Action":[
      "s3:GetObject*",
      "s3:GetBucket*",
      "s3:List*"
   ],
   "Resource":[
      "arn:aws:s3:::YOUR_S3_BUCKET_NAME",
      "arn:aws:s3:::YOUR_S3_BUCKET_NAME/*"
   ]
}

Sostituisci i segnaposto di esempio YOUR_S3_BUCKET_NAME con il nome del tuo bucket Amazon S3, ad esempio. my-mwaa-unique-s3-bucket-name

Per eseguire uno script di risoluzione dei problemi che controlli la configurazione e la configurazione della rete Amazon VPC per il tuo ambiente Amazon MWAA, consulta lo script Verify Environment in Support AWS Tools su. GitHub

Controlla la rete VPC con routing pubblico. Se utilizzi un Amazon VPC con accesso a Internet, verifica quanto segue:

1. Che il tuo Amazon VPC sia configurato per consentire il traffico di rete tra le diverse AWS risorse utilizzate dal tuo ambiente Amazon MWAA, come definito in. Informazioni sulla rete su Amazon MWAA Ad esempio, il gruppo di sicurezza VPC deve consentire tutto il traffico in una regola di autoreferenziazione o, facoltativamente, specificare l'intervallo di porte per l'intervallo di porte HTTPS 443 e un intervallo di porte TCP 5432.

Controlla la rete VPC con routing privato. Se utilizzi un Amazon VPC senza accesso a Internet, verifica quanto segue:

1. Che il tuo Amazon VPC sia configurato per consentire il traffico di rete tra AWS le diverse risorse per il tuo ambiente Amazon MWAA, come definito in. Informazioni sulla rete su Amazon MWAA Ad esempio, le due sottoreti private non devono avere una tabella di routing verso un gateway NAT (o un'istanza NAT), né un gateway Internet.

Per eseguire uno script di risoluzione dei problemi che controlli la configurazione e la configurazione della rete Amazon VPC per il tuo ambiente Amazon MWAA, consulta lo script Verify Environment in Support AWS Tools su. GitHub

Controlla la configurazione della rete VPC. Per ulteriori informazioni, consulta Ho provato a creare un ambiente ed è bloccato nello stato «Creazione».

Controlla le autorizzazioni degli utenti. Amazon MWAA esegue un dry run con le credenziali di un utente prima di creare un ambiente. Il tuo AWS account potrebbe non disporre dell'autorizzazione in AWS Identity and Access Management (IAM) per creare alcune risorse per un ambiente. Ad esempio, se hai scelto la modalità di accesso alla rete privata Apache Airflow, al tuo AWS account deve essere stato concesso dall'amministratore l'accesso alla politica di controllo degli MWAAFull ConsoleAccess accessi di Amazon per il tuo ambiente, che consente al tuo account di creare endpoint VPC.

Controlla le autorizzazioni del ruolo di esecuzione. Un ruolo di esecuzione è un ruolo AWS Identity and Access Management (IAM) con una politica di autorizzazioni che concede ad Amazon MWAA l'autorizzazione a richiamare le risorse di altri AWS servizi (come Amazon S3, Amazon CloudWatch SQS, Amazon ECR) per tuo conto. Inoltre, è necessario consentire l'accesso alla chiave gestita dal cliente o alla chiave AWS di proprietà. Per ulteriori informazioni, consulta Ruolo di esecuzione.

Controlla i log di Apache Airflow. Se hai abilitato i log di Apache Airflow, verifica che i gruppi di log siano stati creati correttamente nella pagina dei gruppi di log sulla console. CloudWatch Se vedi log vuoti, il motivo più comune è dovuto alla mancanza di autorizzazioni nel tuo ruolo di esecuzione per CloudWatch Amazon S3, dove vengono scritti i log. Per ulteriori informazioni, consulta Ruolo di esecuzione.

Per eseguire uno script di risoluzione dei problemi che controlli la configurazione e la configurazione della rete Amazon VPC per il tuo ambiente Amazon MWAA, consulta lo script Verify Environment in Support AWS Tools su. GitHub

Se utilizzi un Amazon VPC senza accesso a Internet, assicurati di aver creato un endpoint gateway Amazon S3 e di aver concesso le autorizzazioni minime richieste ad Amazon ECR per accedere ad Amazon S3. Per ulteriori informazioni sulla creazione di un endpoint gateway Amazon S3, consulta quanto segue:

Controlla la configurazione del gruppo di sicurezza VPC. Per ulteriori informazioni, consulta Ho provato a creare un ambiente ed è bloccato nello stato «Creazione».

Verifica che tutti i pacchetti Apache Airflow che hai elencato requirements.txt corrispondano alla versione di Apache Airflow in esecuzione su Amazon MWAA. Per ulteriori informazioni, consulta Installazione delle dipendenze in Python.

Per eseguire uno script di risoluzione dei problemi che controlli la configurazione e la configurazione della rete Amazon VPC per il tuo ambiente Amazon MWAA, consulta lo script Verify Environment in Support AWS Tools su. GitHub

Testa DAGs i tuoi plugin personalizzati e le dipendenze Python localmente usando on. aws-mwaa-local-runner GitHub

Per eseguire uno script di risoluzione dei problemi che controlli la configurazione e la configurazione della rete Amazon VPC per il tuo ambiente Amazon MWAA, consulta lo script Verify Environment in Support AWS Tools su. GitHub

Controlla le autorizzazioni degli utenti. È possibile che non ti sia stato concesso l'accesso a una politica di autorizzazioni che ti consente di visualizzare l'interfaccia utente di Apache Airflow. Per ulteriori informazioni, consulta Accesso a un ambiente Amazon MWAA.

Controlla l'accesso alla rete. Ciò può essere dovuto al fatto che hai selezionato la modalità di accesso alla rete privata. Se l'URL dell'interfaccia utente di Apache Airflow è nel formato seguente387fbcn-8dh4-9hfj-0dnd-834jhdfb-vpce.c10.us-west-2.airflow.amazonaws.com, significa che stai utilizzando un routing privato per il tuo server Web Apache Airflow. È possibile aggiornare la modalità di accesso Apache Airflow alla modalità di accesso alla rete pubblica o creare un meccanismo per accedere all'endpoint VPC per il server Web Apache Airflow. Per ulteriori informazioni, consulta Gestione dell'accesso agli endpoint Amazon VPC specifici del servizio su Amazon MWAA.