Questions fréquemment posées sur Amazon MWAA

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Cette page décrit les questions courantes que vous pouvez rencontrer lors de l'utilisation d'Amazon Managed Workflows pour Apache Airflow.

Versions prises en charge

Qu'est-ce qu'Amazon MWAA prend en charge pour Apache Airflow v2 ?

Pour savoir ce que prend en charge Amazon MWAA, consultezVersions d'Apache Airflow sur Amazon Managed Workflows pour Apache Airflow.

Pourquoi les anciennes versions d'Apache Airflow ne sont-elles pas prises en charge ?

Nous ne prenons en charge que la dernière version (au lancement) d'Apache Airflow, Apache Airflow v1.10.12, en raison de problèmes de sécurité liés aux anciennes versions.

Quelle version de Python dois-je utiliser ?

Les versions d'Apache Airflow suivantes sont prises en charge sur Amazon Managed Workflows pour Apache Airflow.

Pour plus d'informations sur la migration de vos déploiements Apache Airflow autogérés ou sur la migration d'un environnement Amazon MWAA existant, y compris les instructions pour sauvegarder votre base de données de métadonnées, consultez le guide de migration Amazon MWAA.

Quelle est la version d'pipAmazon MWAA utilisée ?

Pour les environnements exécutant Apache Airflow v1.10.12, Amazon MWAA installe la version 21.1.2. pip

Pour les environnements exécutant Apache Airflow v2 ou version ultérieure, Amazon MWAA installe pip la version 21.3.1.

Cas d’utilisation

Quand dois-je utiliser AWS Step Functions vs. Amazon MWAA ?

Spécifications relatives à l'environnement

Quelle est la capacité de stockage des tâches disponible pour chaque environnement ?

Le stockage des tâches est limité à 20 Go et est spécifié par Amazon ECS Fargate 1.4. La quantité de RAM est déterminée par la classe d'environnement que vous spécifiez. Pour plus d'informations sur les classes d'environnement, consultezConfiguration de la classe d'environnement Amazon MWAA.

Quel est le système d'exploitation par défaut utilisé pour les environnements Amazon MWAA ?

Les environnements Amazon MWAA sont créés sur des instances exécutant Amazon Linux 2 pour les versions 2.6 et antérieures, et sur des instances exécutant Amazon Linux 2023 pour les versions 2.7 et ultérieures.

Puis-je utiliser une image personnalisée pour mon environnement Amazon MWAA ?

Les images personnalisées ne sont pas prises en charge. Amazon MWAA utilise des images créées sur l'AMI Amazon Linux. Amazon MWAA installe les exigences supplémentaires en pip3 -r install les exécutant conformément aux exigences spécifiées dans le fichier requirements.txt que vous ajoutez au compartiment Amazon S3 pour l'environnement.

Amazon MWAA est-il conforme à la loi HIPAA ?

Amazon MWAA est éligible à la loi HIPAA (Health Insurance Portability and Accountability Act). Si vous avez mis en place un addendum HIPAA Business Associate (BAA) AWS, vous pouvez utiliser Amazon MWAA pour les flux de travail gérant les informations de santé protégées (PHI) dans les environnements créés le 14 novembre 2022 ou après cette date.

Amazon MWAA prend-il en charge les instances ponctuelles ?

Amazon MWAA ne prend actuellement pas en charge les types d'instances Amazon EC2 Spot à la demande pour Apache Airflow. Toutefois, un environnement Amazon MWAA peut déclencher des instances ponctuelles sur Amazon EMR et Amazon, par exemple. EC2

Amazon MWAA prend-il en charge un domaine personnalisé ?

Pour pouvoir utiliser un domaine personnalisé pour votre nom d'hôte Amazon MWAA, effectuez l'une des opérations suivantes :

Puis-je accéder à mon environnement par SSH ?

Bien que le SSH ne soit pas pris en charge dans un environnement Amazon MWAA, il est possible d'utiliser un DAG pour exécuter des commandes bash à l'aide du. BashOperator Par exemple :

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago
with DAG(dag_id="any_bash_command_dag", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
      cli_command = BashOperator(
          task_id="bash_command",
          bash_command="{{ dag_run.conf['command'] }}"
      )

Pour déclencher le DAG dans l'interface utilisateur d'Apache Airflow, utilisez :

{ "command" : "your bash command"}

Pourquoi une règle d'autoréférencement est-elle requise sur le groupe de sécurité VPC ?

En créant une règle d'autoréférencement, vous limitez la source au même groupe de sécurité dans le VPC, et celle-ci n'est pas ouverte à tous les réseaux. Pour en savoir plus, consultez Sécurité de votre VPC sur Amazon MWAA.

Puis-je masquer des environnements appartenant à différents groupes dans IAM ?

Vous pouvez limiter l'accès en spécifiant un nom d'environnement AWS Identity and Access Management, mais le filtrage de visibilité n'est pas disponible dans la AWS console. Si un utilisateur peut voir un environnement, il peut voir tous les environnements.

Puis-je stocker des données temporaires sur l'Apache Airflow Worker ?

Vos opérateurs Apache Airflow peuvent stocker des données temporaires sur les Workers. Les travailleurs d'Apache Airflow peuvent accéder aux fichiers temporaires contenus dans /tmp les conteneurs Fargate de votre environnement.

Puis-je spécifier plus de 25 travailleurs Apache Airflow ?

Oui. Bien que vous puissiez spécifier jusqu'à 25 travailleurs Apache Airflow sur la console Amazon MWAA, vous pouvez en configurer jusqu'à 50 dans un environnement en demandant une augmentation de quota. Pour plus d’informations, consultez Demande d’augmentation de quota.

Amazon MWAA prend-il en charge le partage d'Amazon VPCs ou les sous-réseaux partagés ?

Amazon MWAA ne prend pas en charge le partage d'Amazon VPCs ou les sous-réseaux partagés. Le VPC Amazon que vous sélectionnez lorsque vous créez un environnement doit appartenir au compte qui tente de créer l'environnement. Cependant, vous pouvez acheminer le trafic d'un Amazon VPC du compte Amazon MWAA vers un VPC partagé. Pour plus d'informations, et pour voir un exemple de routage du trafic vers un Amazon VPC partagé, consultez la section Routage sortant centralisé vers Internet dans le guide des passerelles de transit Amazon VPC.

Puis-je créer ou intégrer des files d'attente Amazon SQS personnalisées pour gérer l'exécution des tâches et l'orchestration des flux de travail dans Apache Airflow ?

Non, vous ne pouvez pas créer, modifier ou utiliser des files d'attente Amazon SQS personnalisées dans Amazon MWAA. Cela est dû au fait qu'Amazon MWAA provisionne et gère automatiquement sa propre file d'attente Amazon SQS pour chaque environnement Amazon MWAA.

Métriques

Quels indicateurs sont utilisés pour déterminer s'il convient de faire évoluer Workers ?

Amazon MWAA surveille le QueuedTaskset l'entrée RunningTasks CloudWatch afin de déterminer s'il convient d'adapter Apache Airflow Workers à votre environnement. Pour en savoir plus, consultez Surveillance et métriques pour Amazon Managed Workflows pour Apache Airflow.

Puis-je créer des métriques personnalisées dans CloudWatch ?

Pas sur CloudWatch console. Cependant, vous pouvez créer un DAG dans lequel des métriques personnalisées sont enregistrées CloudWatch. Pour de plus amples informations, veuillez consulter Utilisation d'un DAG pour écrire des métriques personnalisées dans CloudWatch.

DAGs, Opérateurs, connexions et autres questions

Puis-je utiliser le PythonVirtualenvOperator ?

Le n'PythonVirtualenvOperatorest pas explicitement pris en charge sur Amazon MWAA, mais vous pouvez créer un plugin personnalisé qui utilise lePythonVirtualenvOperator. Pour un exemple de code, consultez Création d'un plugin personnalisé pour Apache Airflow PythonVirtualenvOperator.

Combien de temps faut-il à Amazon MWAA pour reconnaître un nouveau fichier DAG ?

DAGs sont régulièrement synchronisés entre le compartiment Amazon S3 et votre environnement. Si vous ajoutez un nouveau fichier DAG, Amazon MWAA met environ 300 secondes pour commencer à utiliser le nouveau fichier. Si vous mettez à jour un DAG existant, Amazon MWAA met environ 30 secondes à reconnaître vos mises à jour.

Ces valeurs, 300 secondes pour les nouvelles DAGs et 30 secondes pour les mises à jour des versions existantes DAGs, correspondent min_file_process_intervalrespectivement aux options de configuration d'dag_dir_list_intervalApache Airflow.

Pourquoi mon fichier DAG n'est-il pas récupéré par Apache Airflow ?

Les solutions possibles à ce problème sont les suivantes :

Puis-je supprimer un environnement plugins.zip ou le supprimer requirements.txt d'un environnement ?

Actuellement, il n'existe aucun moyen de supprimer un fichier plugins.zip ou requirements.txt d'un environnement une fois qu'ils ont été ajoutés, mais nous travaillons sur le problème. Dans l'intervalle, une solution consiste à pointer vers un fichier texte ou un fichier zip vide, respectivement. Pour en savoir plus, consultez Suppression de fichiers sur Amazon S3.

Pourquoi mes plugins ne s'affichent-ils pas dans le menu des plugins d'administration d'Apache Airflow v2.0.2 ?

Pour des raisons de sécurité, le serveur Web Apache Airflow sur Amazon MWAA dispose d'une sortie réseau limitée et n'installe pas de plugins ni de dépendances Python directement sur le serveur Web Apache Airflow pour les environnements de version 2.0.2. Le plugin présenté permet à Amazon MWAA d'authentifier vos utilisateurs Apache Airflow dans AWS Identity and Access Management (IAM).

Pour pouvoir installer des plugins et des dépendances Python directement sur le serveur Web, nous vous recommandons de créer un nouvel environnement avec Apache Airflow v2.2 ou version ultérieure. Amazon MWAA installe les dépendances Python et les plug-ins personnalisés directement sur le serveur Web pour Apache Airflow v2.2 et versions ultérieures.

Puis-je utiliser les opérateurs du Service AWS de Migration de Base de Données (DMS) ?

Amazon MWAA prend en charge les opérateurs DMS. Toutefois, cet opérateur ne peut pas être utilisé pour effectuer des actions sur la base de données de métadonnées Amazon Aurora PostgreSQL associée à un environnement Amazon MWAA.

Lorsque j'accède à l'API REST Airflow à l'aide des AWS informations d'identification, puis-je augmenter la limite de régulation à plus de 10 transactions par seconde (TPS) ?

Oui, vous pouvez. Pour augmenter la limite de régulation, veuillez contacter le AWS Support client.