Console Amazon EMR - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Console Amazon EMR

La console propose une interface mise à jour qui vous permet de gérer de manière intuitive votre environnement Amazon EMR et d'accéder facilement à la documentation, aux informations sur les produits et à d'autres ressources.

Fonctionnalités de la console

La console Amazon EMR est disponible à l'adresse URL suivante :

Le tableau suivant répertorie l'état des principaux composants de la console Amazon EMR.

Composant de la console Amazon EMR Console

EMR Studio

Création et gestion de clusters

Blocage de l'accès public

Surveillez les CloudWatch événements Amazon

Configurations de la sécurité

Clusters virtuels (Amazon EMR sur EKS)

Afficher et gérer vos sous-réseaux Amazon Virtual Private Cloud 1

Carnets de notes (2)

1 Dans la console, vous pouvez afficher et gérer vos sous-réseaux Amazon VPC dans la section Mise en réseau lorsque vous créez un cluster.

2 notebooks EMR sont disponibles sous forme d'espaces de travail EMR Studio dans la console. Le bouton Créer un espace de travail de la console vous permet de créer de nouveaux blocs-notes. Pour accéder aux Workspaces ou en créer, les utilisateurs EMR Notebooks doivent disposer d'autorisations de rôle IAM supplémentaires. Pour plus d'informations, consultez Amazon EMR Notebooks are Amazon EMR Studio Workspaces dans la console et Amazon EMR.

Résumé des différences

Cette section décrit les fonctionnalités de l'expérience de la console Amazon EMR. Ces fonctionnalités se répartissent dans les catégories suivantes :

Compatibilité des clusters dans la console

Dans certains cas, un cluster que vous avez créé peut ne pas être compatible avec la console. La liste suivante décrit les exigences de compatibilité pour la console Amazon EMR.

  • La console prend en charge les clusters créés dans les versions 5.20.1 et ultérieures d'Amazon EMR.

  • Vous pouvez cloner des clusters qui utilisent le dimensionnement automatique dans la console, mais vous ne pouvez créer de nouveaux clusters que si vous souhaitez les redimensionner manuellement ou utiliser le dimensionnement géré.

Pour créer et utiliser des clusters des versions 5.20.1 et antérieures, vous pouvez utiliser le AWS Command Line Interface (AWS CLI) ou le AWS SDK.

Création de clusters

Capacité Console

Terminologie : types de nœuds de cluster Amazon EMR

Principal, tâche

Versions Amazon EMR prises en charge1

Amazon EMR 5.20.1 et versions ultérieures

Lancer rapidement un cluster

Cliquez sur le bouton Créer un cluster situé sous le panneau Résumé. Le nom de votre cluster ne peut pas contenir les caractères <, >, $, | ou `(backtick).

Configurer un délai d'expiration de l'allocation Spot

Définissez un délai d'expiration pour allouer des instances pour chaque flotte de votre cluster.

Fonctions de service et rôle de profil d'instance Amazon EC2

La console ne crée pas de rôles par défaut ; vous devez créer des rôles avec la console IAM ou sélectionner un rôle IAM déjà créé

Visibilité des clusters

Depuis la console Amazon EMR, vous ne pouvez pas rendre un cluster visible par tous les utilisateurs ; votre politique IAM détermine l'accès au cluster

Réseaux : configuration de sous-réseaux privés

Vous devez configurer les points de terminaison Amazon S3 et les passerelles NAT à partir de leurs consoles Amazon S3 et Amazon VPC respectives

Vue cohérente du système de fichiers EMR (EMRFS CV)

Avec la sortie d'Amazon S3 Strong read-after-write Cohérence le 1er décembre 2020, vous n'avez pas besoin d'utiliser EMRFS CV avec vos clusters EMR

Débogage

Vous pouvez déboguer des tâches à l'aide de l'interface utilisateur de l'application sur la page de détails du cluster

1 Vous ne pouvez pas créer ou modifier de clusters à l'aide de versions antérieures à Amazon EMR 5.20.1 dans la console, mais tous les clusters existants créés à l'aide de versions antérieures à la version 5.20.1 continueront de fonctionner. Pour créer et modifier des clusters avec des versions d'Amazon EMR antérieures à la version 5.20.1, utilisez l'API ou la CLI. Vous pouvez afficher tous les clusters à l'aide de la console, mais les consoles créées avant la version 5.20.1 peuvent ne pas être compatibles avec les nouvelles fonctionnalités.

Affichage et recherche de clusters

Le tableau suivant explique comment utiliser la console Amazon EMR pour afficher, visualiser et rechercher des clusters.

Note

L'application d'un filtre de données à la liste des clusters interroge l'ensemble de la base de données. En revanche, lorsque vous saisissez une chaîne de texte dans le champ de recherche, la recherche ne s'applique qu'aux résultats que la liste a chargés côté client.

Capacité Console

Affichage des détails de cluster

Vous pouvez sélectionner l'ID de cluster pour afficher les détails complets du cluster, tels que les options de configuration, les interfaces utilisateur persistantes des applications et les journaux.

Recherche de clusters

Utilisez un champ de recherche unique pour saisir des requêtes de recherche textuelles et pour créer et appliquer des filtres de données tels que « Statut = Tout statut actif ».

Trouver des clusters défaillants

Pour rechercher des clusters en échec, appliquez le filtre Status = Terminé avec des erreurs.

Afficher ou modifier les détails du cluster

Capacité Console

Affichage des instances de vos groupes d'instances et de vos flottes d'instances, ainsi que des options de mise à l'échelle, d'allocation, de redimensionnement et de résiliation

Consultez les options et les détails des instances dans l'onglet Instances. Consultez les options de résiliation dans l'onglet Propriétés.

Affichage des interfaces utilisateur, des journaux et des configurations d'applications

(Interface utilisateur Apache Spark, service d'historique Spark, interface utilisateur Apache Tez, serveur de chronologie YARN)

Consultez les configurations de cluster dans l'onglet Configurations. Lancez une interface utilisateur d'application active et persistante pour consulter les journaux d'une application depuis l'onglet Applications.

Exportation d'un cluster vers la CLI

Option disponible dans les menus Actions de détails de cluster et d'affichage de liste avec l'intitulé « Commande d'affichage pour le clonage d'un cluster »

Différences lorsque vous travaillez avec des configurations de sécurité

Capacité Console

Clonage de configurations de sécurité

Gouvernance fédérée à l'aide de Trino et Apache Ranger

Utilisation d'un rôle d'exécution pour soumettre une tâche à un cluster1

Autorisation de l'accès aux données de système de fichiers EMR (EMRFS)

Points d'accès Amazon S3

AWS Lake Formation contrôles d'accès

Rôles d'exécution

1 Pour transmettre un rôle lors de la soumission d'une étape, votre cluster doit utiliser une configuration de sécurité associée à une politique d'autorisations IAM afin que l'utilisateur ne puisse transmettre que les rôles approuvés et que vos tâches puissent accéder aux ressources Amazon EMR. Pour plus d'informations, voir Rôles d'exécution pour Amazon EMR Steps.