Utilisation d'une politique de résiliation automatique pour le nettoyage des EMR clusters Amazon - Amazon EMR
ConsidérationsAutorisations d'utilisation de la résiliation automatiqueAttacher, mettre à jour ou supprimer une politique de résiliation automatique

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation d'une politique de résiliation automatique pour le nettoyage des EMR clusters Amazon

Une politique de résiliation automatique vous permet d'orchestrer le nettoyage des clusters sans avoir à surveiller et à résilier manuellement les clusters inutilisés. Lorsque vous ajoutez une politique de résiliation automatique à un cluster, vous spécifiez la durée d'inactivité après laquelle le cluster doit se résilier automatiquement..

Selon la version publiée, Amazon EMR utilise différents critères pour marquer un cluster comme inactif. Le tableau suivant explique comment Amazon EMR détermine l'inactivité du cluster.

Lorsque vous utilisez... Un cluster est considéré comme inactif lorsque...
Amazon EMR versions 5.34.0 et ultérieures, et 6.4.0 et versions ultérieures

  • Il n'y a aucune YARN application active

  • HDFSle taux d'utilisation est inférieur à 10 %

  • Il n'y a aucune connexion active à un EMR bloc-notes ou à EMR Studio

  • Aucune interface utilisateur d'application intégrée au cluster n'est utilisée

  • Il n'y a aucune étape en attente
EMRVersions d'Amazon 5.30.0 à 5.33.0 et 6.1.0 à 6.3.0

  • Il n'y a aucune YARN application active

  • Le cluster n'a aucune tâche Spark active

Note

Amazon EMR marque un cluster comme inactif et peut le fermer automatiquement même si vous avez un noyau Python3 actif. Cela est dû au fait que l'exécution d'un noyau Python3 ne soumet pas de tâche Spark sur le cluster. Pour utiliser la terminaison automatique avec un noyau Python3, nous vous recommandons d'utiliser Amazon EMR version 6.4.0 ou ultérieure.
Note

EMRLes versions 6.4.0 et ultérieures d'Amazon prennent en charge un fichier sur le cluster pour détecter l'activité sur le nœud principal :. /emr/metricscollector/isbusy Lorsque vous utilisez un cluster pour exécuter des scripts shell ou des applications autres que des YARN applications, vous pouvez régulièrement le toucher ou le mettre isbusy à jour pour indiquer à Amazon EMR que le cluster n'est pas inactif.

Vous pouvez associer une politique de résiliation automatique lorsque vous créez un cluster ou lorsque vous ajoutez une politique à un cluster existant. Pour modifier ou désactiver la résiliation automatique, vous pouvez mettre à jour ou supprimer la politique.

Considérations

Tenez compte des fonctions et des limites suivantes avant d'utiliser une politique de résiliation automatique :

  • Dans ce qui suit Régions AWS, la EMR résiliation automatique d'Amazon est disponible avec Amazon EMR 6.14.0 et versions ultérieures :

    • Europe (Espagne) (eu-south-2)

  • Dans ce qui suit Régions AWS, la EMR résiliation automatique d'Amazon est disponible avec Amazon EMR 5.30.0, 6.1.0 et versions ultérieures :

    • USA Est (Virginie du Nord) (us-east-1)

    • USA Est (Ohio) (us-east-2)

    • USA Ouest (Oregon) (us-west-2)

    • US Ouest (N. California) (us-west-1)

    • Afrique (Le Cap) (af-south-1)

    • Asie-Pacifique (Hong Kong) (ap-east-1)

    • Asie-Pacifique (Mumbai) (ap-south-1)

    • Asie-Pacifique (Hyderabad) (ap-south-2)

    • Asie-Pacifique (Séoul) (ap-northeast-2)

    • Asie-Pacifique (Osaka) (ap-northeast-3)

    • Asie-Pacifique (Singapour) (ap-southeast-1)

    • Asie-Pacifique (Sydney) (ap-southeast-2)

    • Asie-Pacifique (Jakarta) (ap-southeast-3)

    • Asie-Pacifique (Tokyo) (ap-northeast-1)

    • Canada (Centre) (ca-central-1)

    • Amérique du Sud (São Paulo) (sa-east-1)

    • Europe (Francfort) (eu-central-1)

    • Europe (Zurich) (eu-central-2)

    • Europe (Irlande) (eu-west-1)

    • Europe (Londres) (eu-west-2)

    • Europe (Milan) (eu-south-1)

    • Europe (Paris) (eu-west-3)

    • Europe (Stockholm) (eu-north-1)

    • Israël (Tel Aviv) (il-central-1)

    • Moyen-Orient (UAE) (me-central-1)

    • Chine (Beijing) cn-north-1

    • Chine (Ningxia) cn-northwest-1

    • AWS GovCloud (USA Est) (us-gov-east-1)

    • AWS GovCloud (US-Ouest) (us-gov-west-1)

  • Le délai d'inactivité est par défaut de 60 minutes (une heure) lorsque vous ne spécifiez pas de montant. Vous pouvez spécifier un délai d'inactivité minimal d'une minute et un délai d'inactivité maximal de 7 jours.

  • Avec EMR les versions 6.4.0 et ultérieures d'Amazon, la résiliation automatique est activée par défaut lorsque vous créez un nouveau cluster avec la console AmazonEMR.

  • Amazon EMR publie des Amazon CloudWatch métriques en haute résolution lorsque vous activez la résiliation automatique pour un cluster. Vous pouvez utiliser ces indicateurs pour suivre l'activité et l'inactivité du cluster. Pour de plus amples informations, veuillez consulter Métriques de capacité de cluster.

  • La résiliation automatique n'est pas prise en charge lorsque vous utilisez des applications non YARN basées telles que Presto, Trino ou. HBase

  • Pour utiliser la terminaison automatique, le processus de collecte de mesures doit être en mesure de se connecter au point de API terminaison public pour la terminaison automatique dans Gateway. API Si vous utilisez un DNS nom privé avec Amazon Virtual Private Cloud, la terminaison automatique ne fonctionnera pas correctement. Pour garantir le bon fonctionnement de la résiliation automatique, nous vous recommandons de prendre l'une des mesures suivantes :

  • (EMR5.30.0 et versions ultérieures) Si vous supprimez la règle Autoriser tout le trafic sortant par défaut à 0.0.0.0/ pour le groupe de sécurité principal, vous devez ajouter une règle qui autorise la TCP connectivité sortante à votre groupe de sécurité pour l'accès au service sur le port 9443. Votre groupe de sécurité pour l'accès au service doit également autoriser le TCP trafic entrant sur le port 9443 en provenance du groupe de sécurité principal. Pour plus d'informations sur la configuration des groupes de sécurité, consultez le groupe de sécurité EMR géré par Amazon pour l'instance principale (sous-réseaux privés).

Autorisations d'utilisation de la résiliation automatique

Avant de pouvoir appliquer et gérer les politiques de résiliation automatique pour AmazonEMR, vous devez associer les autorisations répertoriées dans l'exemple de politique d'IAMautorisation suivant aux IAM ressources qui gèrent votre EMR cluster.

{
  "Version": "2012-10-17",
  "Statement": {
      "Sid": "AllowAutoTerminationPolicyActions",
      "Effect": "Allow",
      "Action": [
        "elasticmapreduce:PutAutoTerminationPolicy",
        "elasticmapreduce:GetAutoTerminationPolicy",
        "elasticmapreduce:RemoveAutoTerminationPolicy"
      ],
      "Resource": "<your-resources>"
    }
}

Attacher, mettre à jour ou supprimer une politique de résiliation automatique

Cette section contient des instructions pour vous aider à joindre, mettre à jour ou supprimer une politique de résiliation automatique d'un EMR cluster Amazon. Avant de travailler avec des politiques de résiliation automatique, assurez-vous de disposer des IAM autorisations nécessaires. Consultez Autorisations d'utilisation de la résiliation automatique.

Console
Pour associer une politique de résiliation automatique lorsque vous créez un cluster avec la console

  1. Connectez-vous au et ouvrez AWS Management Console la EMR console Amazon à l'adresse https://console.aws.amazon.com/emr.

  2. Sous EMREC2Activé dans le volet de navigation de gauche, choisissez Clusters, puis Create cluster.

  3. Sous Résiliation du cluster, sélectionnez Résilier le cluster après une période d'inactivité.

  4. Spécifiez le nombre d'heures et de minutes d'inactivité qui peuvent s'écouler avant que le cluster ne se résilie automatiquement. Le temps d'inactivité par défaut est de 1 heure.

  5. Choisissez toutes les autres options qui s'appliquent à votre cluster.

  6. Pour lancer cluster, choisissez Créer un cluster.

Pour associer, mettre à jour ou supprimer une politique d'arrêt automatique sur un cluster en cours d'exécution à l'aide de la console

  1. Connectez-vous au et ouvrez AWS Management Console la EMR console Amazon à l'adresse https://console.aws.amazon.com/emr.

  2. Sous EMRActivé EC2 dans le volet de navigation de gauche, choisissez Clusters, puis sélectionnez le cluster que vous souhaitez mettre à jour.

  3. Dans l'onglet Propriétés de la page des détails du cluster, recherchez Résiliation du cluster et sélectionnez Modifier.

  4. Sélectionnez ou désélectionnez Activer la résiliation automatique pour activer ou désactiver la fonctionnalité. Si vous activez la résiliation automatique, spécifiez le nombre d'heures et de minutes d'inactivité qui peuvent s'écouler avant que le cluster ne se résilie automatiquement. Sélectionnez ensuite Enregistrer les modifications pour confirmer.

AWS CLI

Avant de commencer

Avant de travailler avec des politiques de résiliation automatique, nous vous recommandons de passer à la dernière version de l' AWS CLI. Pour obtenir des instructions, consultez Installation, mise à jour et désinstallation d' AWS CLI.

Pour joindre ou mettre à jour une politique de résiliation automatique à l'aide de l' AWS CLI

  • Vous pouvez utiliser la commande aws emr put-auto-termination-policy pour associer ou mettre à jour une politique de résiliation automatique sur un cluster.

    L'exemple suivant indique 3 600 secondes pourIdleTimeout. Si vous ne le spécifiez pasIdleTimeout, la valeur par défaut est une heure. 

    aws emr put-auto-termination-policy \
--cluster-id <your-cluster-id> \
--auto-termination-policy IdleTimeout=3600
    Note

    Les caractères de continuation de ligne Linux (\) sont inclus pour des raisons de lisibilité. Ils peuvent être supprimés ou utilisés dans les commandes Linux. Pour Windows, supprimez-les ou remplacez-les par un caret (^).

    Vous pouvez également spécifier une valeur pour --auto-termination-policy lorsque vous utilisez la commande aws emr create-cluster. Pour plus d'informations sur l'utilisation EMR des commandes Amazon dans le AWS CLI, consultez la référence des AWS CLI commandes.

Pour supprimer une politique de résiliation automatique à l'aide du AWS CLI

  • Utilisez la commande aws emr remove-auto-termination-policy pour supprimer une politique de résiliation automatique d'un cluster. Pour plus d'informations sur l'utilisation EMR des commandes Amazon dans le AWS CLI, consultez la référence des AWS CLI commandes.

    aws emr remove-auto-termination-policy --cluster-id <your-cluster-id>