Trabajo con DAG en Amazon MWAA - Amazon Managed Workflows para Apache Airflow
Descripción general del bucket de Amazon S3

Trabajo con DAG en Amazon MWAA

Para ejecutar grafos acíclicos dirigidos (DAG) en un entorno de Amazon Managed Workflows para Apache Airflow, debe copiar los archivos al bucket de almacenamiento de Amazon S3 adjunto a su entorno y, a continuación, informar a Amazon MWAA de dónde se encuentran los DAG y los archivos auxiliares en la consola de Amazon MWAA. Amazon MWAA se encarga de sincronizar los DAG entre los procesos de trabajo, los programadores y el servidor web. Esta guía describe cómo añadir o actualizar sus DAG, e instalar complementos personalizados y dependencias de Python en un entorno Amazon MWAA.

Temas

Descripción general del bucket de Amazon S3

Los buckets de Amazon S3 para un entorno Amazon MWAA deben tener el acceso público bloqueado. De forma predeterminada, todos los recursos de Amazon S3 (buckets, objetos y subrecursos relacionados como, por ejemplo, la configuración del ciclo de vida) son privados.

  • Solo el propietario del recurso, la cuenta de AWS que creó el bucket, puede acceder a dicho recurso. El propietario del recurso (por ejemplo, su administrador) puede conceder permisos de acceso a terceros escribiendo una política de control de acceso.

  • La política de acceso que configure debe tener permiso para añadir DAG, complementos personalizados en plugins.zip y dependencias de Python en requirements.txt a su bucket de Amazon S3. Para ver un ejemplo de política que contiene los permisos necesarios, consulte AmazonMWAAFullConsoleAccess.

Un bucket de Amazon S3 para un entorno Amazon MWAA debe tener el control de versiones habilitado. Cuando el control de versiones de buckets de Amazon S3 está habilitado, cada vez que se crea una nueva versión, se crea una nueva copia.

  • El control de versiones está habilitado para los complementos personalizados de un plugins.zip y para dependencias de Python de un requirements.txt de su bucket de Amazon S3.

  • Debe especificar la versión de un plugins.zip y un requirements.txt en la consola de Amazon MWAA cada vez que se actualicen estos archivos en su bucket de Amazon S3.