Surveiller, mettre à jour et supprimer les ressources Amazon EMR Studio - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Surveiller, mettre à jour et supprimer les ressources Amazon EMR Studio

Cette section contient des instructions pour vous aider à surveiller, à mettre à jour ou à supprimer une ressource EMR Studio. Pour plus d'informations sur l'attribution d'utilisateurs ou la mise à jour des autorisations utilisateur, consultez Attribuer et gérer les utilisateurs d'EMR Studio.

Afficher les détails de Studio

Console
Pour afficher les informations relatives à un EMR Studio avec la nouvelle console
  1. Ouvrez la console Amazon EMR à l'adresse /emr. https://console.aws.amazon.com

  2. Sous EMR Studio dans le menu de navigation de gauche, choisissez Studios.

  3. Sélectionnez le Studio dans la liste Studios pour ouvrir la page détaillée du Studio. La page détaillée du Studio inclut des informations sur les Paramètres du studio, telles que la Description, le VPC et les Sous-réseaux du Studio.

CLI

Pour récupérer les détails d'un EMR Studio by Studio ID à l'aide du AWS CLI

Utilisez la describe-studio AWS CLI commande suivante pour obtenir des informations détaillées sur un studio EMR en particulier. Pour plus d’informations, consultez la référence de la commande AWS CLI .

aws emr describe-studio \ --studio-id <id-of-studio-to-describe> \

Pour récupérer une liste des EMR Studios à l'aide de l' AWS CLI

Utilisez la commande list-studios AWS CLI suivante. Pour plus d’informations, consultez la référence de la commande AWS CLI .

aws emr list-studios

Voici un exemple de valeur de retour pour la commande list-studios au format JSON.

{ "Studios": [ { "AuthMode": "IAM", "VpcId": "vpc-b21XXXXX", "Name": "example-studio-name", "Url": "https://es-7HWP74SNGDXXXXXXXXXXXXXXX.emrstudio-prod.us-east-1.amazonaws.com", "CreationTime": 1605672582.781, "StudioId": "es-7HWP74SNGDXXXXXXXXXXXXXXX", "Description": "example studio description" } ] }

Surveiller les actions Amazon EMR Studio

Afficher l'activité de l'EMR Studio et de l'API

EMR Studio est intégré à AWS CloudTrail un service qui fournit un enregistrement des actions entreprises par un utilisateur, par un rôle IAM ou par un autre service AWS dans EMR Studio. CloudTrail capture les appels d'API pour EMR Studio sous forme d'événements. Vous pouvez consulter les événements à l'aide de la CloudTrail console à l'adresse https://console.aws.amazon.com/cloudtrail/.

Les événements EMR Studio fournissent des informations telles que l'utilisateur Studio ou IAM qui fait une requête et le type de requête.

Note

Les actions sur le cluster, telles que l'exécution de tâches de bloc-notes, n'émettent pas AWS CloudTrail.

Vous pouvez également créer un journal pour la diffusion continue des CloudTrail événements EMR Studio vers un compartiment Amazon S3. Pour plus d’informations, consultez le Guide de l’utilisateur AWS CloudTrail.

Exemple CloudTrail d'événement : un utilisateur appelle l' DescribeStudioAPI

Voici un exemple d' AWS CloudTrail événement créé lorsqu'un utilisateur appelle l'DescribeStudioAPI. admin CloudTrail enregistre le nom d'utilisateur sous la formeadmin.

Note

Pour protéger les informations de Studio, l'événement d'API EMR Studio pour DescribeStudio exclut une valeur pour. responseElements

{ "eventVersion":"1.08", "userIdentity":{ "type":"IAMUser", "principalId":"AIDXXXXXXXXXXXXXXXXXX", "arn":"arn:aws:iam::653XXXXXXXXX:user/admin", "accountId":"653XXXXXXXXX", "accessKeyId":"AKIAIOSFODNN7EXAMPLE", "userName":"admin" }, "eventTime":"2021-01-07T19:13:58Z", "eventSource":"elasticmapreduce.amazonaws.com", "eventName":"DescribeStudio", "awsRegion":"us-east-1", "sourceIPAddress":"72.XX.XXX.XX", "userAgent":"aws-cli/1.18.188 Python/3.8.5 Darwin/18.7.0 botocore/1.19.28", "requestParameters":{ "studioId":"es-9O5XXXXXXXXXXXXXXXXXXXXXX" }, "responseElements":null, "requestID":"0fxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "eventID":"b0xxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "readOnly":true, "eventType":"AwsApiCall", "managementEvent":true, "eventCategory":"Management", "recipientAccountId":"653XXXXXXXXX" }

Afficher l'activité des utilisateurs et des tâches Spark

Pour consulter l'activité des tâches Spark par les utilisateurs d'Amazon EMR Studio, vous pouvez configurer l'emprunt d'identité de l'utilisateur sur un cluster. Avec l'emprunt d'identité de l'utilisateur, chaque tâche Spark soumise depuis un espace de travail est associée à l'utilisateur de Studio qui a exécuté le code.

Lorsque l'emprunt d'identité de l'utilisateur est activé, Amazon EMR crée un répertoire d'utilisateurs HDFS sur le nœud primaire du cluster pour chaque utilisateur qui exécute du code dans l'espace de travail. Par exemple, si l'utilisateur studio-user-1@example.com exécute du code, vous pouvez vous connecter au nœud primaire et voir que hadoop fs -ls /user a un répertoire pour studio-user-1@example.com.

Pour configurer l'emprunt d'identité de l'utilisateur Spark, définissez les propriétés suivantes dans les classifications de configuration suivantes :

  • core-site

  • livy-conf

[ { "Classification": "core-site", "Properties": { "hadoop.proxyuser.livy.groups": "*", "hadoop.proxyuser.livy.hosts": "*" } }, { "Classification": "livy-conf", "Properties": { "livy.impersonation.enabled": "true" } } ]

Pour voir les pages du serveur d'historique, consultez Déboguer des applications et des tâches avec EMR Studio. Vous pouvez également vous connecter au nœud primaire du cluster à l'aide de SSH pour afficher les interfaces web des applications. Pour de plus amples informations, veuillez consulter Affichage des interfaces Web hébergées sur des clusters Amazon EMR.

Mettre à jour un Amazon EMR Studio

Après avoir créé un EMR Studio, vous pouvez mettre à jour les attributs suivants à l'aide de l' AWS CLI :

  • Name (Nom)

  • Description

  • Emplacement S3 par défaut

  • Sous-réseaux

Pour mettre à jour un studio EMR à l'aide du AWS CLI

Utilisez la update-studio AWS CLI commande pour mettre à jour un EMR Studio. Pour plus d’informations, consultez la référence de la commande AWS CLI .

Note

Vous pouvez associer un Studio à un maximum de 5 sous-réseaux. Ces sous-réseaux doivent appartenir au même VPC que le Studio. La liste des sous-réseaux IDs que vous soumettez à la update-studio commande peut inclure un nouveau sous-réseau IDs, mais doit également inclure tous les sous-réseaux IDs que vous avez déjà associés au Studio. Vous ne pouvez pas supprimer de sous-réseaux d'un Studio.

aws emr update-studio \ --studio-id <example-studio-id-to-update> \ --name <example-new-studio-name> \ --subnet-ids <old-subnet-id-1 old-subnet-id-2 old-subnet-id-3 new-subnet-id> \

Pour vérifier les modifications, utilisez la describe-studio AWS CLI commande et spécifiez votre ID de studio. Pour plus d’informations, consultez la référence de la commande AWS CLI .

aws emr describe-studio \ --studio-id <id-of-updated-studio> \

Supprimer un Amazon EMR Studio et des espaces de travail

Lorsque vous supprimez un Studio, EMR Studio supprime toutes les attributions d'utilisateurs et de groupes IAM Identity Center associées au Studio.

Note

Lorsque vous supprimez un Studio, Amazon EMR ne supprime pas les espaces de travail associés à ce Studio. Vous devez supprimer les espaces de travail de votre Studio séparément.

Supprimer des espaces de travail

Console

Chaque espace de travail EMR Studio étant une instance de bloc-notes EMR, vous pouvez utiliser la console de gestion Amazon EMR pour supprimer des espaces de travail. Vous pouvez supprimer des espaces de travail à l'aide de la console Amazon EMR avant ou après avoir supprimé votre Studio.

Pour supprimer un espace de travail à l'aide de la console Amazon EMR
  1. Accédez à la nouvelle console Amazon EMR et sélectionnez Changer pour l'ancienne console depuis le menu latéral. Pour plus d'informations sur ce qu'implique le passage à l'ancienne console, consultez la rubrique Utilisation de l'ancienne console.

  2. Choisissez Blocs-notes.

  3. Sélectionnez le ou les espaces de travail que vous souhaitez supprimer.

  4. Choisissez Supprimer, puis à nouveau Supprimer pour confirmer.

  5. Suivez les instructions relatives à la suppression d'objets dans le Guide de l'utilisateur de la console Amazon Simple Storage Service si vous souhaitez supprimer les fichiers de bloc-notes associés à l'espace de travail supprimé d'Amazon S3.

EMR Studio UI
From the Workspace UIFrom the Workspaces list
From the Workspace UI
Supprimez un Workspace et les fichiers de sauvegarde rattachés dans EMR Studio
  1. Connectez-vous à votre EMR Studio à l'aide de votre URL d'accès au studio et choisissez Espaces de travail dans le menu de navigation de gauche.

  2. Trouvez votre Workspace dans la liste et cochez la case à côté de son nom. Vous pouvez sélectionner plusieurs Workspaces à supprimer en même temps.

  3. Choisissez Supprimer dans le coin supérieur droit de la liste Espaces de travail et confirmez que vous souhaitez supprimer les Workspaces sélectionnés. Choisissez Supprimer pour confirmer.

  4. Si vous souhaitez supprimer les fichiers de bloc-notes rattachés au Workspace supprimé d'Amazon S3, suivez les instructions relatives à la suppression d'objets dans le Guide de l'utilisateur de la console Amazon Simple Storage Service. Si vous n'avez pas créé le Studio, consultez votre administrateur afin de déterminer l'emplacement de sauvegarde Amazon S3 pour le Workspace supprimé.

From the Workspaces list
Supprimer un Workspace ainsi que les fichiers de sauvegarde rattachés de la liste des Workspaces
  1. Accédez à la liste des Workspaces dans la console.

  2. Sélectionnez le Workspace que vous souhaitez supprimer dans la liste, puis choisissez Actions.

  3. Sélectionnez Delete (Supprimer).

  4. Si vous souhaitez supprimer les fichiers de bloc-notes rattachés au Workspace supprimé d'Amazon S3, suivez les instructions relatives à la suppression d'objets dans le Guide de l'utilisateur de la console Amazon Simple Storage Service. Si vous n'avez pas créé le Studio, consultez votre administrateur afin de déterminer l'emplacement de sauvegarde Amazon S3 pour le Workspace supprimé.

Supprimer un EMR Studio

Console
Pour supprimer un EMR Studio avec la nouvelle console
  1. Ouvrez la console Amazon EMR à l'adresse /emr. https://console.aws.amazon.com

  2. Sous EMR Studio dans le menu de navigation de gauche, choisissez Studios.

  3. Sélectionnez le Studio dans la liste Studios avec le bouton situé à gauche du nom du Studio. Sélectionnez Delete (Supprimer).

Old console
Pour supprimer un EMR Studio avec l'ancienne console
  1. Ouvrez la console Amazon EMR à https://console.aws.amazon.com/elasticmapreduce/ la maison.

  2. Dans le volet de navigation de gauche, choisissez EMR Studio.

  3. Sélectionnez le Studio dans la liste Studios et choisissez Supprimer.

CLI

Pour supprimer un studio EMR à l'aide du AWS CLI

Utilisez la delete-studio AWS CLI commande pour supprimer un studio EMR. Pour plus d’informations, consultez la référence de la commande AWS CLI .

aws emr delete-studio --studio-id <id-of-studio-to-delete>