View a markdown version of this page

AWS modelo de responsabilidade compartilhada para o Amazon MWAA - Amazon Managed Workflows for Apache Airflow
Infraestrutura que AWS gereCódigo de fluxo de trabalho e conteúdo que você gerenciaExcelência operacional que você gerenciaConfiguração e acesso que você gerenciaRecursos relacionados

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

AWS modelo de responsabilidade compartilhada para o Amazon MWAA

Essa orientação se aplica aos ambientes provisionados pelo Amazon MWAA. Em um ambiente provisionado, você seleciona a classe de ambiente e configura os limites de escalabilidade do trabalhador e do servidor web.

Segurança e conformidade são uma responsabilidade compartilhada entre você AWS e você. O Modelo de Responsabilidade Compartilhada descreve isso como segurança da nuvem e segurança na nuvem. Para o Amazon MWAA, esse modelo vai além da segurança para a responsabilidade operacional. Operamos, gerenciamos e controlamos os componentes subjacentes. Eles variam do sistema operacional host e da camada de virtualização até a segurança física das instalações nas quais o serviço opera.

Você é responsável por gerenciar o conteúdo que implanta em seu ambiente. No Amazon MWAA, esse conteúdo inclui seu código DAG e as Python dependências que você declara. requirements.txt Ele também inclui seus plug-ins personalizados e qualquer script de inicialização que você fornecer. Sua responsabilidade abrange a configuração, a rede e as permissões que você escolher. Você também é responsável pela operação diária dos fluxos de trabalho executados no ambiente. O Amazon MWAA executa o conteúdo que você fornece à medida que o fornece. O Amazon MWAA não o inspeciona, valida ou modifica.

nota

Embora AWS opere a infraestrutura do seu ambiente, os dados que seus fluxos de trabalho gravam no banco de dados de metadados afetam diretamente o desempenho do serviço. O crescimento ilimitado de metadados pode reduzir os tempos de resposta do agendador e do servidor web. Você é responsável por gerenciar o volume de dados em seu ambiente.

Infraestrutura que AWS gere

Somos responsáveis por proteger a infraestrutura que executa AWS os serviços no Nuvem AWS. Para o Amazon MWAA, isso inclui o seguinte:

  • Configuração do Apache Airflow — O Amazon MWAA configura o Apache Airflow para você. Ele usa a mesma interface de usuário do Apache Airflow e o mesmo código-fonte aberto disponível na Internet. Para obter mais informações, consulte O que é Amazon Managed Workflows for Apache Airflow?.

  • Compute para os componentes gerenciados — O Amazon MWAA provisiona e opera a AWS Fargate computação para seu ambiente. Esse cálculo executa o agendador, os trabalhadores e o servidor web do Apache Airflow. O Amazon MWAA também provisiona e opera o banco de dados de metadados Apache Airflow. Para cada ambiente, o Amazon MWAA cria uma Amazon VPC AWS própria que hospeda o servidor web e o banco de dados de metadados. O agendador e os trabalhadores se conectam às sub-redes privadas no Amazon VPC do seu ambiente, que você possui e configura. Para obter mais informações, consulte Explore a arquitetura de rede Amazon MWAA no Guia de migração do Amazon MWAA.

  • O banco de dados de metadados do Apache Airflow — O Amazon MWAA provisiona e opera o banco de dados de metadados do Apache Airflow para cada ambiente. Você permanece responsável pelo volume de dados que seus fluxos de trabalho gravam nele. Para obter mais informações, consulte Excelência operacional que você gerencia.

  • Imagens de versões e patches — O Amazon MWAA cria imagens de contêiner que agrupam versões do Apache Airflow com outros binários e bibliotecas comuns. Python O Amazon MWAA corrige essas imagens. Um ambiente continua usando sua versão de imagem especificada até que você emita uma ação de atualização do ambiente para movê-lo para uma versão posterior. Para obter mais informações, consulte Sobre as versões do Amazon MWAA. As definições de imagem estão disponíveis no repositório https://github.com/aws/amazon-mwaa-docker-images amazon-mwaa-docker-images no site. GitHub

  • Ciclo de vida do suporte à versão — O Amazon MWAA publica as datas de disponibilidade e fim do suporte para cada versão do Apache Airflow. O Amazon MWAA notifica você Health Dashboard quando um ambiente em sua conta executa uma versão que está chegando ao fim do suporte. Para ver o compromisso e as datas de suporte atuais, consulteEnd-of-support versões.

  • Escalabilidade automática dos componentes gerenciados — O Amazon MWAA dimensiona os trabalhadores e o servidor web em resposta à demanda. O dimensionamento permanece dentro dos limites que você configura. Você escolhe a classe de ambiente, as configurações de escalabilidade do trabalhador e do servidor web e a contagem do agendador. Para obter mais informações, consulte Como configurar o ajuste de escala automático do trabalhador do Amazon MWAA, Como configurar o ajuste de escala automático do servidor Web do Amazon MWAA e Como configurar a classe de ambiente do Amazon MWAA.

  • Criptografia de dados — O Amazon MWAA criptografa seus dados em repouso e em trânsito. O Amazon MWAA também atribui as doações necessárias a uma chave KMS gerenciada pelo cliente em seu nome. Para obter mais informações, consulte Proteção de dados no Amazon Managed Workflows for Apache Airflow.

  • Métricas e registros — O Amazon MWAA publica métricas ambientais na Amazon. CloudWatch O Amazon MWAA entrega registros do Apache Airflow ao CloudWatch Logs para os tipos de log que você habilitar. Para obter mais informações, consulte Visão geral do monitoramento no Amazon MWAA.

  • Programas de conformidade — Third-party os auditores testam e verificam regularmente a eficácia da AWS segurança. Para obter mais informações, consulte Validação de conformidade para o Amazon Managed Workflows for Apache Airflow.

Código de fluxo de trabalho e conteúdo que você gerencia

Você é responsável por manter o controle sobre o conteúdo hospedado nessa infraestrutura. Esse conteúdo inclui o seguinte:

  • Código DAG — As definições do DAG que você copia para a dags pasta em seu bucket do Amazon S3. Você é responsável pelo que esses DAGs acessam e pelas operações que eles realizam. Para obter mais informações, consulte Como adicionar ou atualizar DAGs.

  • Pythondependências — As bibliotecas que você instala ao fazer o upload de um requirements.txt arquivo para seu bucket do Amazon S3. Isso inclui a segurança e a compatibilidade de todos os pacotes que seus fluxos de trabalho exigem. Pacotes incompatíveis ou que consomem muitos recursos podem degradar o desempenho do agendador e do trabalhador ou impedir que os contêineres sejam iniciados. Para obter mais informações, consulte Como instalar dependências do Python e Como gerenciar dependências do Python em requirements.txt.

  • Plugins personalizados — O conteúdo do plugins.zip arquivo que você carrega no seu bucket do Amazon S3. Recomendamos verificar o conteúdo do arquivo antes de carregá-lo. Para obter mais informações, consulte Como instalar plug-ins personalizados.

  • Scripts de inicialização — O script de shell que o Amazon MWAA executa em cada componente na inicialização. Você também especifica o ID da versão do Amazon S3 para o script. Para obter mais informações, consulte Como usar um script de startup com o Amazon MWAA.

  • Teste — Validar seus DAGs, plug-ins personalizados e Python dependências antes de implantá-los em um ambiente. Recomendamos testar as atualizações de versão do Apache Airflow em um ambiente de desenvolvimento antes de aplicá-las à produção. Você pode usar a imagem do contêiner amazon-mwaa-docker-images no site para desenvolver e testar localmente. GitHub

  • Seu bucket do Amazon S3 e seu conteúdo — A política do bucket e as ACLs de objetos do bucket associado ao seu ambiente. O Amazon MWAA não faz backup do conteúdo do bucket em seu nome. Recomendamos ativar o controle de versão e configurar a replicação entre regiões se seus DAGs, plug-ins e arquivos de requisitos exigirem uma postura de recuperação de desastres. Também recomendamos que você não armazene outros objetos no bucket nem use o bucket com outro serviço.

  • Dados que você insere — É altamente recomendável que você nunca coloque informações confidenciais ou confidenciais em tags ou campos de formato livre, como um campo Nome.

Excelência operacional que você gerencia

O Amazon MWAA opera a infraestrutura gerenciada. Você é responsável pelos fluxos de trabalho executados nessa infraestrutura. O código, as dependências e a configuração que você implanta determinam o desempenho do seu ambiente. O Amazon MWAA publica as métricas e os registros que descrevem a saúde do ambiente. Interpretar esses dados, definir alarmes sobre eles e agir de acordo com o que eles relatam são de sua responsabilidade.

  • Monitorando a integridade do ambiente — Analisando as CloudWatch métricas que o Amazon MWAA publica para seu ambiente. Isso inclui métricas de contêiner, fila e banco de dados que ajudam a detectar saturação e degradação. Para obter mais informações, consulte Monitoramento e métricas para o Amazon Managed Workflows for Apache Airflow e Métricas de contêiner, fila e banco de dados para Amazon MWAA.

  • Painéis e alarmes — Criação de CloudWatch painéis e alarmes que notificam você quando seu ambiente se aproxima de seus limites. Para obter mais informações, consulte Painéis de monitoramento e alarmes no Amazon MWAA.

  • Análise de log — Habilitando os tipos de log do Apache Airflow que você precisa. Em seguida, você analisa o agendador, o trabalhador, o servidor web e os registros de tarefas para diagnosticar falhas no fluxo de trabalho. Para obter mais informações, consulte Acessando os registros do Airflow na Amazon CloudWatch e Solução de problemas: CloudWatch registros e CloudTrail erros.

  • CloudWatch cotas de serviço — Garantindo que as CloudWatch cotas em sua conta possam lidar com o volume de registros que seu ambiente produz. Exceder as cotas de CloudWatch registros CreateLogStream pode causar a degradação do trabalhador. Para obter mais informações, consulte Cotas de CloudWatch registros.

  • Manutenção do banco de dados de metadados — Mantendo o banco de dados de metadados do Apache Airflow leve. Remova regularmente os metadados que seus fluxos de trabalho não precisam mais. Um banco de dados de metadados ilimitado pode degradar o desempenho do agendador e do servidor web. Para obter mais informações, consulte Limpeza do banco de dados do Aurora PostgreSQL em um ambiente do Amazon MWAA.

  • Frequência de projeto e agendamento do DAG — Sua contagem de DAG, tarefas por DAG e intervalos de agendamento determinam diretamente a carga no agendador gerenciado. O Amazon MWAA não restringe nem rejeita cargas de trabalho que excedam a capacidade do ambiente. Você deve projetar seus DAGs para caber nos recursos que você configura.

  • Governança de recursos de tarefas — Definindo tempos limite em nível de tarefa, tamanhos de pool do Apache Airflow e limites de simultaneidade por DAG. O Amazon MWAA não impõe proteções por tarefa em seu nome. Sem essas configurações, um único DAG de longa duração ou de alta simultaneidade pode consumir todos os trabalhadores disponíveis.

  • Ajuste de capacidade e desempenho — Escolha a classe de ambiente, os limites de escalabilidade do trabalhador e do servidor web e as opções de configuração do Apache Airflow adequadas à sua carga de trabalho. O escalonamento automático opera dentro dos limites que você configura e não compensa as cargas de trabalho que excedem a capacidade de projeto do ambiente. Você deve dimensionar corretamente a classe de ambiente para seu perfil de carga de trabalho. Para obter mais informações, consulte Ajuste de desempenho para o Apache Airflow no Amazon MWAA e Como configurar a classe de ambiente do Amazon MWAA.

  • Alterações feitas por meio de um script de inicialização — Um script de inicialização é executado em todos os componentes do seu ambiente. Ele pode alterar a configuração desses componentes. Você é responsável pelas mudanças que fizer dessa forma, incluindo qualquer efeito que elas tenham na estabilidade do ambiente. Recomendamos testar um script de inicialização antes de aplicá-lo a um ambiente de produção. Para obter mais informações, consulte Como usar um script de startup com o Amazon MWAA.

  • Atualizações do ambiente — Iniciar uma atualização do ambiente é sua ação. As atualizações acionam a reinicialização do contêiner e podem afetar os fluxos de trabalho em execução. Você é responsável por escolher quando atualizar e por avaliar o efeito nas tarefas em andamento. Recomendamos a atualização durante uma janela de tempo que você escolher, quando nenhum DAGs crítico estiver em execução. Para atualizar sem pausar e reiniciar seus DAGs, considere atualizações simples, que permitem que os funcionários concluam as tarefas em andamento antes de serem encerradas. Condições e limites se aplicam; para obter mais informações, consulte Atualizar um ambiente Amazon MWAA.

  • First-level triagem — Usar métricas e registros disponíveis para diagnosticar problemas antes de contratar AWS o Suporte. O nível de detalhes que o AWS Support pode usar para ajudá-lo depende do nível de registro que você habilitou para seu ambiente.

  • Cross-environment orquestração — Coordenação de fluxos de trabalho em vários ambientes do Amazon MWAA. Se você usa mecanismos como a API REST do Apache Airflow ou sensores externos para vincular ambientes, você é responsável por essa lógica de coordenação.

  • Seguindo as melhores práticas do Amazon MWAA — Aplicando as diretrizes documentadas para desempenho, gerenciamento de dependências e configuração do ambiente. Para obter mais informações, consulte Práticas recomendadas para o Amazon Managed Workflows for Apache Airflow.

Configuração e acesso que você gerencia

Você escolhe como seu ambiente é configurado e quem pode acessá-lo. Você é responsável por fazer o seguinte:

  • Manter sua versão atualizada — Você é responsável por manter suas versões do Amazon MWAA atualizadas. Atualizar um ambiente para uma versão mais recente do Apache Airflow é uma ação que você inicia. Para obter mais informações, consulte Alterar a versão do Apache Airflow e End-of-support versões.

  • A função de execução — O Amazon MWAA não pode adicionar ou editar políticas de permissão em uma função de execução existente após a criação de um ambiente. Você deve atualizar a função de execução com as permissões adicionais de que seu ambiente precisa. Para obter mais informações, consulte Perfil de execução do Amazon MWAA.

  • Controle de acesso do IAM — As políticas que determinam quem pode acessar seu ambiente e a interface do usuário do Apache Airflow. Conceda permissões somente aos recursos e ações de que os usuários precisam. Para obter mais informações, consulte AWS Identity and Access Management e Como acessar um ambiente do Amazon MWAA.

  • Privilégios de usuário do Apache Airflow — O Apache Airflow não é multilocatário. Os autores do DAG podem escrever DAGs que alteram os privilégios de usuário do Apache Airflow e interagem com o banco de dados de metadados subjacente. Recomendamos o uso de ambientes separados para equipes separadas que tenham acesso de escrita ao DAG. Para obter mais informações, consulte Práticas recomendadas de segurança no Apache Airflow.

  • Modo de acesso ao servidor web — Escolha PUBLIC_ONLY ou PRIVATE_ONLY para acessar a interface do usuário do Apache Airflow. Essa é uma decisão de segurança que determina se o endpoint do servidor web pode ser acessado pela Internet. Para obter mais informações, consulte Segurança em sua VPC no Amazon MWAA.

  • Configuração de rede — Seu Amazon VPC, sub-redes, grupos de segurança e ACLs de rede. Isso inclui as regras de entrada e saída que direcionam o tráfego em seus gateways NAT. Se você optar por gerenciar seus próprios endpoints do Amazon VPC, você é responsável por criar esses endpoints. Para obter mais informações, consulte Segurança em sua VPC no Amazon MWAA e Como gerenciar seus próprios endpoints da Amazon VPC no Amazon MWAA.

  • Escolha de chave de criptografia — Se você deseja usar uma chave AWS KMS própria ou uma chave KMS gerenciada pelo cliente. Se você usar uma chave KMS gerenciada pelo cliente, deverá anexar as declarações de política necessárias à chave. Para obter mais informações, consulte Proteção de dados no Amazon Managed Workflows for Apache Airflow.

  • Segredos e conexões — as credenciais que seus fluxos de trabalho usam. Recomendamos armazenar segredos no Secrets Manager. Para obter mais informações, consulte Configurando uma conexão do Apache Airflow usando um AWS Secrets Manager secret.

  • Opções de configuração do Apache Airflow — As opções de configuração que você substitui em seu ambiente. Para obter mais informações, consulte Como usar opções de configuração do Apache Airflow no Amazon MWAA.

Recursos relacionados