O que é Amazon Managed Workflows for Apache Airflow? - Amazon Managed Workflows for Apache Airflow
AtributosArquiteturaIntegraçãoVersões aceitasPróximas etapas

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

O que é Amazon Managed Workflows for Apache Airflow?

Use o Amazon Managed Workflows for Apache Airflow, um serviço gerenciado de orquestração para o Apache Airflow, para configurar e operar pipelines de dados na nuvem em grande escala. O Apache Airflow é uma ferramenta de código aberto usada para criar, agendar e monitorar programaticamente sequências de processos e tarefas chamadas de fluxos de trabalho.

Com a AmazonMWAA, você pode usar o Apache Airflow e o Python para criar fluxos de trabalho sem precisar gerenciar a infraestrutura subjacente para fins de escalabilidade, disponibilidade e segurança. A Amazon escala MWAA automaticamente sua capacidade de execução de fluxo de trabalho para atender às suas necessidades e se integra aos serviços de AWS segurança para ajudar a fornecer acesso rápido e seguro aos seus dados.

Atributos

Analise os recursos a seguir para saber como a Amazon MWAA pode simplificar o gerenciamento de seus fluxos de trabalho do Apache Airflow.

  • Configuração automática do fluxo de ar — Configure rapidamente o Apache Airflow escolhendo uma versão do Apache Airflow ao criar um ambiente Amazon. MWAA A Amazon MWAA configura o Apache Airflow para você usando a mesma interface de usuário e código-fonte aberto do Apache Airflow que você pode baixar na Internet.

  • Ajuste de escala automático: realiza o ajuste de escala automático dos operadores do Apache Airflow definindo o número mínimo e máximo de operadores que são executados em seu ambiente. A Amazon MWAA monitora os trabalhadores em seu ambiente e usa seu componente de escalonamento automático para adicionar trabalhadores para atender à demanda, até atingir o número máximo de trabalhadores que você definiu.

  • Autenticação integrada — Habilite a autenticação e autorização baseadas em funções para seu servidor Web Apache Airflow definindo as políticas de controle de acesso em (). AWS Identity and Access Management IAM Os Apache Airflow Workers assumem essas políticas para acesso seguro aos AWS serviços.

  • Segurança integrada — Os Apache Airflow Workers and Schedulers funcionam na Amazon da MWAA Amazon. VPC Os dados também são criptografados automaticamente usando AWS Key Management Service, portanto, seu ambiente está seguro por padrão.

  • Modos de acesso público ou privado: acesse seu servidor Web do Apache Airflow usando um modo de acesso privado ou público. O modo de acesso à rede pública usa um VPC endpoint para seu servidor Web Apache Airflow que pode ser acessado pela Internet. O modo de acesso à rede privada usa um VPC endpoint para seu servidor Web Apache Airflow que pode ser acessado em seu. VPC Em ambos os casos, o acesso dos usuários do Apache Airflow é controlado pela política de controle de acesso que você define em AWS Identity and Access Management (IAM) e. AWS SSO

  • Atualizações e patches simplificados — a Amazon MWAA fornece novas versões do Apache Airflow periodicamente. A MWAA equipe da Amazon atualizará e corrigirá as imagens para essas versões.

  • Monitoramento do fluxo de trabalho — Veja os registros do Apache Airflow e as métricas do Apache Airflow na Amazon CloudWatch para identificar atrasos nas tarefas do Apache Airflow ou erros no fluxo de trabalho sem a necessidade de ferramentas adicionais de terceiros. A Amazon envia MWAA automaticamente as métricas do ambiente e, se ativadas, os registros do Apache Airflow para. CloudWatch

  • AWS integração — A Amazon MWAA oferece suporte a integrações de código aberto com Amazon Athena AWS Batch, CloudWatch Amazon, Amazon DynamoDB, AWS DataSync Amazon, Amazon, EMR AWS Fargate Amazon Data Firehose,,, EKS Amazon AWS Lambda Redshift, AWS Glue Amazon, Amazon, Amazon SageMaker AI e SQS Amazon S3, além SNS de centenas de operadores e sensores integrados e criados pela comunidade.

  • Frotas de trabalhadores — A Amazon MWAA oferece suporte para o uso de contêineres para escalar a frota de trabalhadores sob demanda e reduzir as interrupções do programador usando o Amazon on. ECS AWS Fargate Há suporte para operadores que invocam tarefas em ECS contêineres da Amazon e operadores de Kubernetes que criam e executam pods em um cluster Kubernetes.

Arquitetura

Todos os componentes contidos na caixa externa (na imagem abaixo) aparecem como um único MWAA ambiente Amazon em sua conta. O Apache Airflow Scheduler e o Workers são AWS Fargate contêineres que se conectam às sub-redes privadas na Amazon VPC para seu ambiente. Cada ambiente tem seu próprio banco de dados Apache Airflow gerenciado por AWS esse que pode ser acessado pelos contêineres Scheduler e Workers Fargate por meio de um endpoint protegido de forma privada. VPC

Amazon CloudWatch, Amazon S3SQS, Amazon e Amazon AWS KMS são separados da Amazon MWAA e precisam estar acessíveis a partir do (s) agendador (es) do Apache Airflow e dos Workers nos contêineres Fargate.

O servidor Web Apache Airflow pode ser acessado pela Internet selecionando o modo de acesso do Apache Airflow da rede pública ou, dentro da sua, VPC selecionando o modo de acesso do Apache Airflow da rede privada. Em ambos os casos, o acesso dos usuários do Apache Airflow é controlado pela política de controle de acesso que você define em AWS Identity and Access Management ()IAM.

nota

Vários Programadores do Apache Airflow estão disponíveis apenas com o Apache Airflow v2 e superior. Saiba mais sobre o ciclo de vida das tarefas do Apache Airflow em Conceitos no guia de referência do Apache Airflow.

Esta imagem mostra a arquitetura de um MWAA ambiente da Amazon.

Integração

A comunidade ativa e crescente de código aberto do Apache Airflow fornece operadores (plug-ins que simplificam as conexões com os serviços) para que o Apache Airflow se integre aos serviços. AWS Isso inclui serviços como Amazon S3, Amazon Redshift, Amazon e EMR AWS Batch SageMaker Amazon AI, bem como serviços em outras plataformas de nuvem.

O uso do Apache Airflow com a Amazon oferece suporte MWAA total à integração com AWS serviços e ferramentas populares de terceiros, como Apache Hadoop, Presto, Hive e Spark, para realizar tarefas de processamento de dados. MWAAA Amazon está comprometida em manter a compatibilidade com o Apache AirflowAPI, e a Amazon MWAA pretende fornecer integrações confiáveis aos AWS serviços e disponibilizá-los para a comunidade, além de se envolver no desenvolvimento de recursos da comunidade.

Para obter o código de exemplo, consulte Exemplos de código para o Amazon Managed Workflows for Apache Airflow.

Versões aceitas

A Amazon MWAA oferece suporte a várias versões do Apache Airflow. Para obter mais informações sobre as versões do Apache Airflow que oferecemos suporte e os componentes do Apache Airflow incluídos em cada versão, consulte Versões do Apache Airflow no Amazon Managed Workflows for Apache Airflow..

Próximas etapas