Gestione delle dipendenze Python in requirements.txt

Questo argomento descrive come installare e gestire le dipendenze Python in un requirements.txt file per un ambiente Amazon Managed Workflows for Apache Airflow.

Test DAGs con l'utilità CLI di Amazon MWAA

Installazione delle dipendenze Python utilizzando il formato file dei requisiti PyPi .org

La sezione seguente descrive i diversi modi per installare le dipendenze Python in base al PyPi formato.org Requirements File.

Opzione uno: dipendenze Python dal Python Package Index

La sezione seguente descrive come specificare le dipendenze Python dall'indice dei pacchetti Python in un file. requirements.txt

Opzione due: Python wheels (.whl)

Una ruota Python è un formato di pacchetto progettato per spedire librerie con artefatti compilati. I pacchetti wheel offrono diversi vantaggi come metodo per installare le dipendenze in Amazon MWAA:

Consigliamo i seguenti metodi per installare le dipendenze Python da un archivio Python wheel () nel tuo. .whl requirements.txt

Utilizzo del plugins.zip file su un bucket Amazon S3

Lo scheduler, i worker e il server web di Apache Airflow (per Apache Airflow v2.2.2 e versioni successive) cercano plugin personalizzati durante l'avvio nel contenitore Fargate gestito per il AWS vostro ambiente all'indirizzo. /usr/local/airflow/plugins/* Questo processo inizia prima dell'avvio del servizio Amazon MWAA pip3 install -r requirements.txt for Python e del servizio Apache Airflow. Un plugins.zip file può essere utilizzato per tutti i file che non si desidera modificare continuamente durante l'esecuzione dell'ambiente o per i quali non si desidera concedere l'accesso agli utenti che scrivono. DAGs Ad esempio, i file della ruota della libreria Python, i file PEM dei certificati e i file YAML di configurazione.

La sezione seguente descrive come installare una ruota contenuta nel plugins.zip file sul tuo bucket Amazon S3.

Utilizzando un file WHL ospitato su un URL

La sezione seguente descrive come installare una ruota ospitata su un URL. L'URL deve essere accessibile pubblicamente o dall'interno del VPC Amazon personalizzato specificato per il tuo ambiente Amazon MWAA.

Creazione di un file WHL da un DAG

Se disponi di un server Web privato che utilizza Apache Airflow v2.2.2 o versione successiva e non riesci a installare i requisiti perché il tuo ambiente non ha accesso a repository esterni, puoi utilizzare il seguente DAG per prendere i requisiti Amazon MWAA esistenti e impacchettarli su Amazon S3:

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago

S3_BUCKET = 'my-s3-bucket'
S3_KEY = 'backup/plugins_whl.zip' 

with DAG(dag_id="create_whl_file", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
    cli_command = BashOperator(
        task_id="bash_command",
        bash_command=f"mkdir /tmp/whls;pip3 download -r /usr/local/airflow/requirements/requirements.txt -d /tmp/whls;zip -j /tmp/plugins.zip /tmp/whls/*;aws s3 cp /tmp/plugins.zip s3://{S3_BUCKET}/{S3_KEY}"
    )

Dopo aver eseguito il DAG, usa questo nuovo file come Amazon MWAAplugins.zip, facoltativamente, impacchettato con altri plugin. Quindi, aggiorna il file preceduto da e senza aggiungere. requirements.txt --find-links /usr/local/airflow/plugins --no-index --constraint

Questo metodo consente di utilizzare le stesse librerie offline.

Opzione tre: dipendenze Python ospitate su un repository privato PyPi conforme a /PEP-503

La sezione seguente descrive come installare un extra di Apache Airflow ospitato su un URL privato con autenticazione.

Abilitazione dei log sulla console Amazon MWAA

Il ruolo di esecuzione per il tuo ambiente Amazon MWAA richiede l'autorizzazione per inviare log a Logs. CloudWatch Per aggiornare le autorizzazioni di un ruolo di esecuzione, consulta. Ruolo di esecuzione di Amazon MWAA

È possibile abilitare i log di Apache Airflow a livelloINFO,WARNING, ERROR o. CRITICAL Quando scegli un livello di log, Amazon MWAA invia i log per quel livello e tutti i livelli di gravità più elevati. Ad esempio, se abiliti i log a INFO livello, Amazon MWAA invia INFO log e WARNINGERROR, e livelli di CRITICAL log a Logs. CloudWatch Ti consigliamo di abilitare i log di Apache Airflow a INFO livello di Scheduler per visualizzare i log ricevuti per. requirements.txt

Visualizzazione dei log nella console Logs CloudWatch

È possibile visualizzare i log di Apache Airflow per Scheduler, pianificando i flussi di lavoro e analizzando la cartella. dags I passaggi seguenti descrivono come aprire il gruppo di log per Scheduler sulla console Amazon MWAA e visualizzare i log di Apache Airflow sulla console Logs. CloudWatch

Visualizzazione degli errori nell'interfaccia utente di Apache Airflow

Potresti anche voler controllare l'interfaccia utente di Apache Airflow per identificare se un errore può essere correlato a un altro problema. L'errore più comune che potresti riscontrare con Apache Airflow su Amazon MWAA è:

Broken DAG: No module named x

Se vedi questo errore nell'interfaccia utente di Apache Airflow, è probabile che nel file manchi una dipendenza richiesta. requirements.txt

Accesso ad Apache Airflow

Hai bisogno Politica di accesso all'interfaccia utente di Apache Airflow: Amazon MWAAWeb ServerAccess delle autorizzazioni per il tuo AWS account in AWS Identity and Access Management (IAM) per visualizzare l'interfaccia utente di Apache Airflow.

Scenari di esempio requirements.txt

Puoi mescolare e abbinare diversi formati nel tuorequirements.txt. L'esempio seguente utilizza una combinazione dei diversi modi per installare gli extra.

aws-batch == 0.6
phoenix-letter >= 0.3
    
--index-url http://dist.repoze.org/zope2/2.10/simple
    zopelib