View a markdown version of this page

Résolution des problèmes : création et mise à jour d'un environnement Amazon MWAA - Amazon Managed Workflows for Apache Airflow
Mise à jour de requirements.txtPlug-insCréation d’un compartimentCréer un environnementEnvironnement de mise à jourEnvironnement d'accès

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Résolution des problèmes : création et mise à jour d'un environnement Amazon MWAA

Les rubriques de cette page contiennent des erreurs que vous pouvez rencontrer lors de la création et de la mise à jour d'un environnement Amazon Managed Workflows pour Apache Airflow et expliquent comment les résoudre.

Mise à jour de requirements.txt

La rubrique suivante décrit les erreurs que vous pouvez recevoir lors de la mise à jour de votrerequirements.txt.

J'ai spécifié une nouvelle version de mon fichier requirements.txt et la mise à jour de mon environnement prend plus de 20 minutes

S'il faut plus de vingt minutes à votre environnement pour installer une nouvelle version d'un requirements.txt fichier, la mise à jour de l'environnement a échoué et Amazon MWAA revient à la dernière version stable de l'image du conteneur.

  1. Vérifiez les versions des packages. Nous vous recommandons de toujours spécifier une version spécifique (==) ou une version maximale (<=) pour les dépendances Python de votrerequirements.txt.

  2. Consultez les journaux d'Apache Airflow. Si vous avez activé les journaux Apache Airflow, vérifiez que vos groupes de journaux ont été créés correctement sur la page Groupes de journaux de la CloudWatch console. Si vous obtenez des journaux vides, la raison la plus courante est l'absence d'autorisations dans votre rôle d'exécution CloudWatch ou dans Amazon S3 où les journaux sont écrits. Pour en savoir plus, consultezRôle d'exécution.

  3. Vérifiez les options de configuration d'Apache Airflow. Si vous utilisez Secrets Manager, vérifiez que les paires clé-valeur que vous avez spécifiées comme option de configuration d'Apache Airflow ont été correctement configurées. Pour en savoir plus, consultezConfiguration d'une connexion Apache Airflow à l'aide d'un AWS Secrets Manager secret.

  4. Vérifiez la configuration du réseau VPC. Pour en savoir plus, consultezJ'ai essayé de créer un environnement et il est bloqué dans l'état Création.

  5. Vérifiez les autorisations des rôles d'exécution. Un rôle d'exécution est un rôle Gestion des identités et des accès AWS (IAM) doté d'une politique d'autorisations qui autorise Amazon MWAA à invoquer les ressources d'autres AWS services (tels qu'Amazon S3, Amazon SQS CloudWatch, Amazon ECR) en votre nom. L'accès AWSà votre Customer-managed clé ou à votre clé personnelle doit également être autorisé. Pour en savoir plus, consultezRôle d'exécution.

  6. Pour exécuter un script de dépannage qui vérifie la configuration et la configuration du réseau Amazon VPC pour votre environnement Amazon MWAA, reportez-vous au script Verify Environment dans les Outils de AWS support sur. GitHub

J'obtiens un message Impossible d'installer les packages en raison d'une erreur OSError [Erreur 28] Aucun espace laissé sur l'appareil

Les conteneurs Amazon MWAA disposent d'une quantité limitée de stockage pour le système d'exploitation, les DAG, les environnements d'exécution et les bibliothèques. Pour plus d’informations, consultez Quelle est la quantité de stockage des tâches disponible pour chaque environnement ?.

Pour réduire les besoins en stockage, vous pouvez peut-être l'utiliser en --no-cache-dir installant les bibliothèques à l'aide d'un script de démarrage. Par exemple :

#!/bin/sh

if [[ "${MWAA_AIRFLOW_COMPONENT}" != "webserver" ]]
then
     # place requirements.txt in DAGs folder, and replace existing requirements.txt with an empty text file
     pip3 install --no-cache-dir -r /usr/local/airflow/dags/requirements.txt
fi

Pour plus d’informations, consultez Configuration d'un script de démarrage.

Vous pouvez également installer vos bibliothèques à partir de fichiers de roue Python. Pour plus d’informations, consultez Option 2 : roues Python (.whl).

Plug-ins

La rubrique suivante décrit les problèmes que vous pouvez rencontrer lors de la configuration ou de la mise à jour des plugins Apache Airflow.

Amazon MWAA prend-il en charge la mise en œuvre d'une interface utilisateur personnalisée ?

À partir de la version 2.2.2 d'Apache Airflow, Amazon MWAA prend en charge l'installation de plugins sur le serveur Web Apache Airflow et la mise en œuvre d'une interface utilisateur personnalisée. Si votre environnement Amazon MWAA exécute Apache Airflow v2.0.2 ou une version antérieure, vous ne pourrez pas implémenter d'interface utilisateur personnalisée.

Pour plus d'informations sur la gestion des versions et la mise à niveau de vos environnements existants, reportez-vous àVersions Apache Airflow sur Amazon Managed Workflows for Apache Airflow.

Création d’un compartiment

La rubrique suivante décrit les erreurs que vous pouvez recevoir lors de la création d'un compartiment Amazon S3.

Je n'arrive pas à sélectionner l'option pour les paramètres S3 Block Public Access

Le rôle d'exécution pour votre environnement Amazon MWAA doit être autorisé à effectuer l'GetBucketPublicAccessBlockaction sur le compartiment Amazon S3 afin de vérifier que l'accès public au compartiment est bloqué. Nous vous recommandons la procédure suivante :

  1. Suivez les étapes pour associer une politique JSON à votre rôle d'exécution.

  2. Joignez la politique JSON suivante :

    {
  "Effect":"Allow",
  "Action":[
    "s3:GetObject*",
    "s3:GetBucket*",
    "s3:List*"
  ],
  "Resource":[
    "arn:aws:s3:::amzn-s3-demo-bucket",
    "arn:aws:s3:::amzn-s3-demo-bucket/*"
  ]
}

    Remplacez les exemples d'espaces réservés amzn-s3-demo-bucket par le nom de votre compartiment Amazon S3.

  3. Pour exécuter un script de dépannage qui vérifie la configuration et la configuration du réseau Amazon VPC pour votre environnement Amazon MWAA, reportez-vous au script Verify Environment dans les Outils de AWS support sur. GitHub

Créer un environnement

La rubrique suivante décrit les erreurs que vous pouvez recevoir lors de la création d'un environnement.

J'ai essayé de créer un environnement et il est bloqué dans l'état Création

Nous vous recommandons la procédure suivante :

  1. Vérifiez le réseau VPC avec routage public. Si vous utilisez un Amazon VPC avec accès à Internet, vérifiez les points suivants :

    1. Que votre Amazon VPC est configuré pour autoriser le trafic réseau entre les différentes AWS ressources utilisées par votre environnement Amazon MWAA, comme défini dans. À propos de la mise en réseau sur Amazon MWAA Par exemple, votre groupe de sécurité VPC doit autoriser tout le trafic dans une règle d'autoréférencement ou spécifier éventuellement la plage de ports pour la plage de ports HTTPS 443 et une plage de ports TCP 5432.

  2. Vérifiez le réseau VPC avec routage privé. Si vous utilisez un Amazon VPC sans accès à Internet, vérifiez les points suivants :

    1. Que votre Amazon VPC est configuré pour autoriser le trafic réseau entre les différentes AWS ressources de votre environnement Amazon MWAA, comme défini dans. À propos de la mise en réseau sur Amazon MWAA Par exemple, vos deux sous-réseaux privés ne doivent pas avoir de table de routage vers une passerelle NAT (ou instance NAT), ni une passerelle Internet.

  3. Pour exécuter un script de dépannage qui vérifie la configuration et la configuration du réseau Amazon VPC pour votre environnement Amazon MWAA, reportez-vous au script Verify Environment dans les Outils de AWS support sur. GitHub

J'ai essayé de créer un environnement mais il affiche le statut « Échec de la création »

Nous vous recommandons la procédure suivante :

  1. Vérifiez la configuration du réseau VPC. Pour en savoir plus, consultezJ'ai essayé de créer un environnement et il est bloqué dans l'état Création.

  2. Vérifiez les autorisations des utilisateurs. Amazon MWAA effectue une analyse complète des informations d'identification d'un utilisateur avant de créer un environnement. Dans Gestion des identités et des accès AWS (IAM), vous n'êtes Compte AWS peut-être pas autorisé à créer certaines ressources pour un environnement. Par exemple, si vous avez choisi le mode d'accès au réseau privé Apache Airflow, votre administrateur Compte AWS doit avoir autorisé l'accès à la politique de contrôle d'AmazonMWAAFullConsoleAccessaccès de votre environnement, qui permet à votre compte de créer des points de terminaison VPC.

  3. Vérifiez les autorisations des rôles d'exécution. Un rôle d'exécution est un rôle Gestion des identités et des accès AWS (IAM) doté d'une politique d'autorisations qui autorise Amazon MWAA à invoquer les ressources d'autres AWS services (tels qu'Amazon S3, Amazon SQS CloudWatch, Amazon ECR) en votre nom. L'accès AWSà votre Customer-managed clé ou à votre clé personnelle doit également être autorisé. Pour en savoir plus, consultezRôle d'exécution.

  4. Consultez les journaux d'Apache Airflow. Si vous avez activé les journaux Apache Airflow, vérifiez que vos groupes de journaux ont été créés correctement sur la page Groupes de journaux de la CloudWatch console. Si vous obtenez des journaux vides, la raison la plus courante est l'absence d'autorisations dans votre rôle d'exécution CloudWatch ou dans Amazon S3 où les journaux sont écrits. Pour en savoir plus, consultezRôle d'exécution.

  5. Pour exécuter un script de dépannage qui vérifie la configuration et la configuration du réseau Amazon VPC pour votre environnement Amazon MWAA, reportez-vous au script Verify Environment dans les Outils de AWS support sur. GitHub

  6. Si vous utilisez un Amazon VPC sans accès à Internet, assurez-vous d'avoir créé un point de terminaison de passerelle Amazon S3 et d'avoir accordé les autorisations minimales requises à Amazon ECR pour accéder à Amazon S3. Pour en savoir plus sur la création d'un point de terminaison de passerelle Amazon S3, consultez les rubriques suivantes :

J'ai essayé de sélectionner un VPC et j'ai reçu une erreur de panne réseau

Nous vous recommandons la procédure suivante :

  • Si vous obtenez un Network Failure message d'erreur lorsque vous essayez de sélectionner un Amazon VPC lors de la création de votre environnement, désactivez tous les proxys intégrés au navigateur en cours d'exécution, puis réessayez.

J'ai essayé de créer un environnement et j'ai reçu une erreur de service, de partition ou de ressource « doit être transmise »

Nous vous recommandons la procédure suivante :

  • Vous recevez peut-être cette erreur car l'URI que vous avez spécifié pour votre compartiment Amazon S3 inclut un «/» à la fin de l'URI. Nous vous recommandons de supprimer le «/» du chemin. La valeur doit être au format suivant :

    s3://amzn-s3-demo-bucket

J'ai essayé de créer un environnement et il affiche l'état comme Disponible, mais lorsque j'essaie d'accéder à l'interface utilisateur d'Airflow, une réponse vide du serveur ou une erreur 502 Bad Gateway s'affiche

Nous vous recommandons la procédure suivante :

  1. Vérifiez la configuration du groupe de sécurité VPC. Pour en savoir plus, consultezJ'ai essayé de créer un environnement et il est bloqué dans l'état Création.

  2. Vérifiez que tous les packages Apache Airflow que vous avez répertoriés requirements.txt correspondent à la version d'Apache Airflow que vous utilisez sur Amazon MWAA. Pour en savoir plus, consultezInstallation des dépendances Python.

  3. Pour exécuter un script de dépannage qui vérifie la configuration et la configuration du réseau Amazon VPC pour votre environnement Amazon MWAA, reportez-vous au script Verify Environment dans les Outils de AWS support sur. GitHub

J'ai essayé de créer un environnement et mon nom d'utilisateur est composé de noms de personnages aléatoires

  • Apache Airflow comporte un maximum de 64 caractères pour les noms d'utilisateur. Si votre rôle Gestion des identités et des accès AWS (IAM) dépasse cette longueur, un algorithme de hachage est utilisé pour le réduire, tout en restant unique.

Environnement de mise à jour

La rubrique suivante décrit les erreurs que vous pouvez recevoir lors de la mise à jour d'un environnement.

J'ai essayé de changer la classe d'environnement mais la mise à jour a échoué

Si vous mettez à jour votre environnement vers une classe d'environnement différente (par exemple en remplaçant unmw1.small) et que la demande de mise à jour de votre environnement échoue, l'état de l'environnement passe à un UPDATE_FAILED état et l'environnement est rétabli et est facturé en fonction de la version stable précédente d'un environnement. mw1.medium

Nous vous recommandons la procédure suivante :

  1. Testez vos DAG, vos plugins personnalisés et vos dépendances Python localement à l'aide de https://github.com/aws/amazon-mwaa-docker-images aws-mwaa-docker-images activé. GitHub

  2. Pour exécuter un script de dépannage qui vérifie la configuration et la configuration du réseau Amazon VPC pour votre environnement Amazon MWAA, reportez-vous au script Verify Environment dans les Outils de AWS support sur. GitHub

Environnement d'accès

La rubrique suivante décrit les erreurs que vous pouvez recevoir lors de l'accès à un environnement.

Je n'arrive pas à accéder à l'interface utilisateur d'Apache Airflow

Nous vous recommandons la procédure suivante :

  1. Vérifiez les autorisations des utilisateurs. Vous n'avez peut-être pas obtenu l'accès à une politique d'autorisations que vous pouvez utiliser pour accéder à l'interface utilisateur d'Apache Airflow. Pour en savoir plus, consultezAccès à un environnement Amazon MWAA.

  2. Vérifiez l'accès au réseau. Cela peut être dû au fait que vous avez sélectionné le mode d'accès au réseau privé. Si l'URL de votre interface utilisateur Apache Airflow est au format suivant387fbcn-8dh4-9hfj-0dnd-834jhdfb-vpce.c10.us-west-2.airflow.amazonaws.com, cela signifie que vous utilisez un routage privé pour votre serveur Web Apache Airflow. Vous pouvez soit mettre à jour le mode d'accès Apache Airflow vers le mode d'accès au réseau public, soit créer un mécanisme pour accéder au point de terminaison VPC de votre serveur Web Apache Airflow. Pour en savoir plus, consultezGestion de l'accès aux points de terminaison Amazon VPC spécifiques à un service sur Amazon MWAA.