View a markdown version of this page

AWS modelo de responsabilidad compartida para Amazon MWAA - Amazon Managed Workflows para Apache Airflow
Infraestructura que AWS lograCódigo de flujo de trabajo y contenido que usted administraLa excelencia operativa que usted gestionaConfiguración y acceso que usted administraRecursos relacionados

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

AWS modelo de responsabilidad compartida para Amazon MWAA

Esta guía se aplica a los entornos aprovisionados de Amazon MWAA. En un entorno aprovisionado, usted selecciona la clase de entorno y configura los límites de escalado del servidor web y de trabajo.

La seguridad y el cumplimiento son una responsabilidad compartida entre usted AWS y usted. El modelo de responsabilidad compartida la describe como seguridad de la nube y seguridad en la nube. Para Amazon MWAA, este modelo va más allá de la seguridad y abarca la responsabilidad operativa. Operamos, administramos y controlamos los componentes subyacentes. Estos van desde el sistema operativo anfitrión y la capa de virtualización hasta la seguridad física de las instalaciones en las que opera el servicio.

Usted es responsable de administrar el contenido que implementa en su entorno. En Amazon MWAA, ese contenido incluye su código DAG y Python las dependencias en las que declara. requirements.txt También incluye sus complementos personalizados y cualquier script de inicio que suministre. Su responsabilidad abarca la configuración, la red y los permisos que elija. También es responsable del funcionamiento diario de los flujos de trabajo que se ejecutan en el entorno. Amazon MWAA ejecuta el contenido que usted suministra a medida que lo suministra. Amazon MWAA no lo inspecciona, valida ni modifica.

nota

Si bien AWS opera la infraestructura de su entorno, los datos que los flujos de trabajo escriben en la base de datos de metadatos afectan directamente al rendimiento del servicio. El crecimiento ilimitado de los metadatos puede reducir los tiempos de respuesta del programador y del servidor web. Usted es responsable de administrar el volumen de datos de su entorno.

Infraestructura que AWS logra

Somos responsables de proteger la infraestructura que ejecuta AWS los servicios en el Nube de AWS. En el caso de Amazon MWAA, esto incluye lo siguiente:

  • Configuración de Apache Airflow: Amazon MWAA configura Apache Airflow por usted. Utiliza la misma interfaz de usuario de Apache Airflow y el mismo código de código abierto disponibles en Internet. Para obtener más información, consulte ¿Qué es Amazon Managed Workflows para Apache Airflow?.

  • Computación para los componentes gestionados: Amazon MWAA aprovisiona y gestiona la AWS Fargate informática de su entorno. Este cálculo ejecuta el programador, los trabajadores y el servidor web de Apache Airflow. Amazon MWAA también aprovisiona y gestiona la base de datos de metadatos de Apache Airflow. Para cada entorno, Amazon MWAA crea una Amazon VPC propia que aloja el AWS servidor web y la base de datos de metadatos. El programador y los trabajadores se conectan a las subredes privadas de la Amazon VPC de su entorno, que usted posee y configura. Para obtener más información, consulte Explore la arquitectura de red de Amazon MWAA en la Guía de migración de Amazon MWAA.

  • La base de datos de metadatos de Apache Airflow: Amazon MWAA aprovisiona y gestiona la base de datos de metadatos de Apache Airflow para cada entorno. Usted sigue siendo responsable del volumen de datos que escriban en ella sus flujos de trabajo. Para obtener más información, consulte La excelencia operativa que usted gestiona.

  • Imágenes de versiones y parches: Amazon MWAA crea imágenes de contenedores que combinan las versiones de Apache Airflow con otros archivos binarios y bibliotecas comunes. Python Amazon MWAA corrige esas imágenes. Un entorno sigue utilizando la versión de imagen especificada hasta que emita una acción de actualización del entorno para pasarla a una versión posterior. Para obtener más información, consulte Acerca de las versiones de Amazon MWAA. Las definiciones de las imágenes están disponibles en el repositorio https://github.com/aws/amazon-mwaa-docker-images amazon-mwaa-docker-images del sitio web. GitHub

  • Ciclo de vida de soporte de las versiones: Amazon MWAA publica las fechas de disponibilidad y finalización del soporte de cada versión de Apache Airflow. Amazon MWAA le notifica de inmediato Panel de estado cuando un entorno de su cuenta ejecuta una versión que está a punto de finalizar el soporte. Para conocer el compromiso de soporte y las fechas actuales, consulte. End-of-support versiones

  • Escalado automático de los componentes gestionados: Amazon MWAA escala los trabajadores y el servidor web en respuesta a la demanda. El escalado se mantiene dentro de los límites que usted configure. Usted elige la clase de entorno, la configuración de escalado del servidor web y del trabajador, y el número de planificadores. Para obtener más información, consulte Configuración del escalado automático de los procesos de trabajo de Amazon MWAA, Configuración del escalado automático del servidor web de Amazon MWAA y Configuración de la clase de entorno Amazon MWAA.

  • Cifrado de datos: Amazon MWAA cifra los datos en reposo y en tránsito. Amazon MWAA también adjunta las concesiones necesarias a una clave de KMS gestionada por el cliente en su nombre. Para obtener más información, consulte Protección de datos en Amazon Managed Workflows para Apache Airflow.

  • Métricas y registros: Amazon MWAA publica las métricas del entorno en Amazon. CloudWatch Amazon MWAA envía los registros de Apache Airflow a CloudWatch Logs para los tipos de registro que usted habilite. Para obtener más información, consulte Información general sobre la monitorización en Amazon MWAA.

  • Programas de cumplimiento: los Third-party auditores prueban y verifican periódicamente la eficacia de la seguridad. AWS Para obtener más información, consulte Validación de conformidad de Amazon Managed Workflows para Apache Airflow.

Código de flujo de trabajo y contenido que usted administra

Usted es responsable de mantener el control sobre el contenido que aloja en esta infraestructura. Este contenido incluye lo siguiente:

  • Código DAG: las definiciones de DAG que copia en la dags carpeta de su bucket de Amazon S3. Usted es responsable de los datos a los que acceden esos DAG y de las operaciones que realizan. Para obtener más información, consulte Cómo añadir o actualizar DAG.

  • Pythondependencias: las bibliotecas que instala al cargar un requirements.txt archivo en su bucket de Amazon S3. Esto incluye la seguridad y la compatibilidad de todos los paquetes que requieren sus flujos de trabajo. Los paquetes incompatibles o que consumen muchos recursos pueden reducir el rendimiento del programador y de los trabajadores o impedir que los contenedores se inicien. Para obtener más información, consulte Instalación de dependencias de Python y Administración de las dependencias de Python en requirements.txt.

  • Plugins personalizados: el contenido del plugins.zip archivo que subes a tu bucket de Amazon S3. Le recomendamos que verifique el contenido del archivo antes de subirlo. Para obtener más información, consulte Instalación de complementos personalizados.

  • Secuencias de comandos de inicio: las secuencias de comandos de shell que Amazon MWAA ejecuta en cada componente al inicio. También debe especificar el ID de versión de Amazon S3 para el script. Para obtener más información, consulte Uso de un script de inicio con Amazon MWAA.

  • Pruebas: validar los DAG, los complementos personalizados y Python las dependencias antes de implementarlos en un entorno. Recomendamos probar las actualizaciones de la versión de Apache Airflow en un entorno de desarrollo antes de aplicarlas a la producción. Puedes usar la imagen del contenedor amazon-mwaa-docker-images del sitio web para desarrollar y probar localmente. GitHub

  • Su bucket de Amazon S3 y su contenido: la política del bucket y las ACL de objetos del bucket asociado a su entorno. Amazon MWAA no hace copias de seguridad del contenido del bucket en su nombre. Recomendamos habilitar el control de versiones y configurar la replicación entre regiones si sus archivos de requisitos, complementos y DAG requieren una estrategia de recuperación ante desastres. También te recomendamos que no almacenes otros objetos en el bucket ni utilices el bucket con otro servicio.

  • Datos que introduzcas: te recomendamos encarecidamente que nunca incluyas información confidencial o sensible en etiquetas o campos de formato libre, como un campo de nombre.

La excelencia operativa que usted gestiona

Amazon MWAA gestiona la infraestructura gestionada. Usted sigue siendo responsable de los flujos de trabajo que se ejecutan en esa infraestructura. El código, las dependencias y la configuración que implemente determinan el rendimiento de su entorno. Amazon MWAA publica las métricas y los registros que describen el estado del entorno. Es su responsabilidad interpretar esos datos, establecer alarmas en ellos y actuar en función de lo que informan.

  • Supervisar el estado del entorno: revisar las CloudWatch métricas que Amazon MWAA publica para su entorno. Estas incluyen métricas de contenedores, colas y bases de datos que le ayudan a detectar la saturación y la degradación. Para obtener más información, consulte Monitorización y métricas de Amazon Managed Workflows para Apache Airflow y Métricas de contenedores, colas y bases de datos para Amazon MWAA.

  • Paneles y alarmas: creación de CloudWatch paneles y alarmas que le notifiquen cuando su entorno se acerca a sus límites. Para obtener más información, consulte Monitorización de paneles y alarmas en Amazon MWAA.

  • Análisis de registros: habilitar los tipos de registro de Apache Airflow que necesita. A continuación, analiza los registros del programador, del trabajador, del servidor web y de las tareas para diagnosticar los errores del flujo de trabajo. Para obtener más información, consulte Acceso a los registros de Airflow en Amazon CloudWatch y Solución de problemas: CloudWatch registros y CloudTrail errores.

  • CloudWatch cuotas de servicio: asegúrese de que las CloudWatch cuotas de su cuenta puedan gestionar el volumen de registros que produce su entorno. Superar las cuotas de CloudWatch registros CreateLogStream puede provocar una degradación de los trabajadores. Para obtener más información, consulte Cuotas de CloudWatch registros.

  • Mantenimiento de la base de datos de metadatos: mantener ligera la base de datos de metadatos de Apache Airflow. Elimine con regularidad los metadatos que sus flujos de trabajo ya no necesiten. Una base de datos de metadatos ilimitada puede degradar el rendimiento del programador y del servidor web. Para obtener más información, consulte Limpieza de bases de datos de Aurora PostgreSQL en un entorno de Amazon MWAA.

  • Frecuencia de diseño y programación de los DAG: el recuento de DAG, las tareas por DAG y los intervalos de programación determinan directamente la carga del planificador administrado. Amazon MWAA no limita ni rechaza las cargas de trabajo que superan la capacidad del entorno. Debe diseñar los DAG para que se ajusten a los recursos que configure.

  • Gestión de los recursos de las tareas: establecer los tiempos de espera de las tareas, los tamaños de los grupos de Apache Airflow y los límites de simultaneidad por DAG. Amazon MWAA no aplica barreras de protección por tarea en su nombre. Sin esta configuración, un solo DAG de ejecución prolongada o con alta concurrencia puede consumir a todos los trabajadores disponibles.

  • Ajuste de la capacidad y el rendimiento: elegir la clase de entorno, los límites de escalado del servidor web y del servidor web y las opciones de configuración de Apache Airflow que se adapten a su carga de trabajo. El escalado automático funciona dentro de los límites que usted configure y no compensa las cargas de trabajo que superan la capacidad de diseño del entorno. Debe ajustar el tamaño correcto de la clase de entorno a su perfil de carga de trabajo. Para obtener más información, consulte Ajuste del desempeño de Apache Airflow en Amazon MWAA y Configuración de la clase de entorno Amazon MWAA.

  • Cambios que se realizan mediante un script de inicio: un script de inicio se ejecuta en todos los componentes de su entorno. Puede cambiar la configuración de esos componentes. Usted es responsable de los cambios que realice de esta manera, incluido cualquier efecto que tengan en la estabilidad del entorno. Recomendamos probar un script de inicio antes de aplicarlo a un entorno de producción. Para obtener más información, consulte Uso de un script de inicio con Amazon MWAA.

  • Actualizaciones del entorno: iniciar una actualización del entorno es cosa suya. Las actualizaciones provocan el reinicio del contenedor y pueden afectar a los flujos de trabajo en ejecución. Eres responsable de elegir cuándo actualizar y de evaluar el efecto en las tareas en curso. Te recomendamos que actualices durante el período de tiempo que elijas, cuando no se esté ejecutando ningún DAG crítico. Para actualizar sin pausar ni despausar tus DAG, considera la posibilidad de realizar actualizaciones rápidas, que permiten a los trabajadores terminar las tareas en curso antes de que cierren. Se aplican condiciones y límites; para obtener más información, consulte Actualizar un entorno de Amazon MWAA.

  • First-level clasificación: uso de las métricas y los registros disponibles para diagnosticar los problemas antes de ponerse en contacto con el servicio de asistencia. AWS El nivel de detalle que el equipo de AWS soporte puede utilizar para ayudarle depende del nivel de registro que haya habilitado para su entorno.

  • Cross-environment orquestación: coordinar los flujos de trabajo en varios entornos de Amazon MWAA. Si utiliza mecanismos como la API REST de Apache Airflow o sensores externos para vincular los entornos, es responsable de esa lógica de coordinación.

  • Seguir las prácticas recomendadas de Amazon MWAA: aplicar las directrices documentadas para el rendimiento, la administración de dependencias y la configuración del entorno. Para obtener más información, consulte Prácticas recomendadas para el uso de Amazon Managed Workflows para Apache Airflow.

Configuración y acceso que usted administra

Usted elige cómo se configura su entorno y quién puede acceder a él. Usted es responsable de lo siguiente:

  • Mantener su versión actualizada: usted es responsable de mantener actualizadas las versiones de Amazon MWAA. La actualización de un entorno a una versión más reciente de Apache Airflow es una acción que usted inicia. Para obtener más información, consulte Cambio de versión de Apache Airflow y End-of-support versiones.

  • El rol de ejecución: Amazon MWAA no puede añadir ni editar políticas de permisos en un rol de ejecución existente después de crear un entorno. Debe actualizar el rol de ejecución con los permisos adicionales que necesita su entorno. Para obtener más información, consulte Rol de ejecución de Amazon MWAA.

  • Control de acceso de IAM: las políticas que determinan quién puede acceder a su entorno y a la interfaz de usuario de Apache Airflow. Conceda permisos únicamente a los recursos y las acciones que los usuarios necesitan. Para obtener más información, consulte AWS Identity and Access Management y Acceso a un entorno de Amazon MWAA.

  • Privilegios de usuario de Apache Airflow: Apache Airflow no es multiusuario. Los autores de los DAG pueden escribir DAG que cambien los privilegios de usuario de Apache Airflow e interactúen con la base de datos de metadatos subyacente. Recomendamos usar entornos distintos para los distintos equipos que tengan acceso de escritura en los DAG. Para obtener más información, consulte Prácticas recomendadas de seguridad en Apache Airflow.

  • Modo de acceso al servidor web: elegir PUBLIC_ONLY o PRIVATE_ONLY para acceder a la interfaz de usuario de Apache Airflow. Se trata de una decisión de seguridad que determina si se puede acceder al punto final del servidor web desde Internet. Para obtener más información, consulte Seguridad en la VPC en Amazon MWAA.

  • Configuración de red: la VPC de Amazon, las subredes, los grupos de seguridad y las ACL de red. Esto incluye las reglas de entrada y salida que dirigen el tráfico hacia sus puertas de enlace NAT. Si decide administrar sus propios puntos de enlace de Amazon VPC, es responsable de crear esos puntos de enlace. Para obtener más información, consulte Seguridad en la VPC en Amazon MWAA y Administración de sus propios puntos de conexión de Amazon VPC en Amazon MWAA.

  • Elección de la clave de cifrado: si desea utilizar una clave de KMS propia o una clave de KMS AWS gestionada por el cliente. Si usa una clave de KMS administrada por el cliente, debe adjuntar a la clave las declaraciones de política requeridas. Para obtener más información, consulte Protección de datos en Amazon Managed Workflows para Apache Airflow.

  • Secretos y conexiones: las credenciales que utilizan sus flujos de trabajo. Recomendamos almacenar los secretos en Secrets Manager. Para obtener más información, consulte Configuración de una conexión Apache Airflow mediante un AWS Secrets Manager secreta.

  • Opciones de configuración de Apache Airflow: las opciones de configuración que anulas en tu entorno. Para obtener más información, consulte Uso de las opciones de configuración de Apache Airflow en Amazon MWAA.

Recursos relacionados