Gestiona un Amazon EMR Studio - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Gestiona un Amazon EMR Studio

Esta sección incluye instrucciones para ayudarte a monitorear, actualizar o eliminar un recurso de EMR Studio. Para obtener información sobre la asignación de usuarios o la actualización de los permisos de los usuarios, consulte Asigne y administre usuarios de EMR Studio.

Ver detalles del estudio

Console
Para ver detalles sobre un EMR estudio con la nueva consola
  1. Abre la EMR consola de Amazon en https://console.aws.amazon.com/emr.

  2. En EMRStudio, en el panel de navegación de la izquierda, selecciona Studios.

  3. Seleccione el estudio en la lista Studios para abrir la página de detalles del estudio. La página de detalles del estudio incluye información sobre los ajustes del estudio, como la descripción del estudio y las subredes. VPC

CLI

Para recuperar los detalles de un ID de EMR Studio by Studio mediante el AWS CLI

Usa el siguiente describe-studio AWS CLI comando para obtener información detallada sobre un EMR estudio en particular. Para obtener más información, consulte Referencia de comandos de la AWS CLI .

aws emr describe-studio \ --studio-id <id-of-studio-to-describe> \

Para recuperar una lista de los EMR estudios que utilizan el AWS CLI

Use el siguiente comando list-studios AWS CLI . Para obtener más información, consulte Referencia de comandos de la AWS CLI .

aws emr list-studios

A continuación se muestra un ejemplo del valor devuelto para el list-studios comando en JSON formato.

{ "Studios": [ { "AuthMode": "IAM", "VpcId": "vpc-b21XXXXX", "Name": "example-studio-name", "Url": "https://es-7HWP74SNGDXXXXXXXXXXXXXXX.emrstudio-prod.us-east-1.amazonaws.com", "CreationTime": 1605672582.781, "StudioId": "es-7HWP74SNGDXXXXXXXXXXXXXXX", "Description": "example studio description" } ] }

Supervise las acciones de Amazon EMR Studio

Vea EMR Studio y su API actividad

EMRStudio está integrado con AWS CloudTrail un servicio que proporciona un registro de las acciones realizadas por un usuario, un IAM rol u otro AWS servicio en EMR Studio. CloudTrail captura API las llamadas de EMR Studio como eventos. Puede ver los eventos con la CloudTrail consola en https://console.aws.amazon.com/cloudtrail/.

EMRLos eventos de Studio proporcionan información como qué Studio o IAM usuario realiza una solicitud y qué tipo de solicitud es.

nota

Las acciones realizadas en el clúster, como la ejecución de tareas de cuaderno, no emiten AWS CloudTrail.

También puede crear un registro para la entrega continua de CloudTrail eventos de EMR Studio a un bucket de Amazon S3. Para obtener más información, consulte la Guía del usuario de AWS CloudTrail.

Ejemplo de CloudTrail evento: un usuario llama al DescribeStudio API

A continuación se muestra un ejemplo de AWS CloudTrail evento que se crea cuando un usuario,admin, llama al DescribeStudioAPI. CloudTrail registra el nombre de usuario comoadmin.

nota

Para proteger los detalles de Studio, el API evento de EMR Studio para DescribeStudio excluye un valor pararesponseElements.

{ "eventVersion":"1.08", "userIdentity":{ "type":"IAMUser", "principalId":"AIDXXXXXXXXXXXXXXXXXX", "arn":"arn:aws:iam::653XXXXXXXXX:user/admin", "accountId":"653XXXXXXXXX", "accessKeyId":"AKIAIOSFODNN7EXAMPLE", "userName":"admin" }, "eventTime":"2021-01-07T19:13:58Z", "eventSource":"elasticmapreduce.amazonaws.com", "eventName":"DescribeStudio", "awsRegion":"us-east-1", "sourceIPAddress":"72.XX.XXX.XX", "userAgent":"aws-cli/1.18.188 Python/3.8.5 Darwin/18.7.0 botocore/1.19.28", "requestParameters":{ "studioId":"es-9O5XXXXXXXXXXXXXXXXXXXXXX" }, "responseElements":null, "requestID":"0fxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "eventID":"b0xxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "readOnly":true, "eventType":"AwsApiCall", "managementEvent":true, "eventCategory":"Management", "recipientAccountId":"653XXXXXXXXX" }

Consulta de la actividad de los trabajos y los usuarios de Spark

Para ver la actividad laboral de Spark realizada por los usuarios de Amazon EMR Studio, puedes configurar la suplantación de usuarios en un clúster. Con la suplantación de usuarios, cada trabajo de Spark que se envía desde un espacio de trabajo se asocia al usuario de Studio que ejecutó el código.

Cuando la suplantación de usuarios está habilitada, Amazon EMR crea un directorio de HDFS usuarios en el nodo principal del clúster para cada usuario que ejecute código en el espacio de trabajo. Por ejemplo, si el usuario studio-user-1@example.com ejecuta código, puede conectarse al nodo principal y comprobar si hadoop fs -ls /user tiene un directorio para studio-user-1@example.com.

Para configurar la suplantación de usuarios de Spark, establezca las siguientes propiedades en las siguientes clasificaciones de configuración:

  • core-site

  • livy-conf

[ { "Classification": "core-site", "Properties": { "hadoop.proxyuser.livy.groups": "*", "hadoop.proxyuser.livy.hosts": "*" } }, { "Classification": "livy-conf", "Properties": { "livy.impersonation.enabled": "true" } } ]

Para consultar las páginas del servidor de historial, consulte Depura aplicaciones y trabajos con Studio EMR. También puedes conectarte al nodo principal del clúster para ver las interfaces web SSH de la aplicación. Para obtener más información, consulte Ver las interfaces web alojadas en los EMR clústeres de Amazon.

Actualizar un Amazon EMR Studio

Tras crear un EMR estudio, puede actualizar los siguientes atributos mediante AWS CLI:

  • Nombre

  • Descripción

  • Ubicación de S3 predeterminada

  • Subredes

Para actualizar un EMR estudio mediante el AWS CLI

Utilice el update-studio AWS CLI comando para actualizar un EMR estudio. Para obtener más información, consulte Referencia de comandos de la AWS CLI .

nota

Un estudio se puede utilizar con un máximo de 5 subredes. Estas subredes deben pertenecer a lo mismo VPC que el Studio. La lista de subredes IDs que envíe al update-studio comando puede incluir una nueva subredIDs, pero también debe incluir toda la subred IDs que ya haya asociado al Studio. No se pueden eliminar subredes de un estudio.

aws emr update-studio \ --studio-id <example-studio-id-to-update> \ --name <example-new-studio-name> \ --subnet-ids <old-subnet-id-1 old-subnet-id-2 old-subnet-id-3 new-subnet-id> \

Para verificar los cambios, usa el describe-studio AWS CLI comando y especifica tu ID de Studio. Para obtener más información, consulte Referencia de comandos de la AWS CLI .

aws emr describe-studio \ --studio-id <id-of-updated-studio> \

Eliminar Amazon EMR Studio y Workspaces

Al eliminar un estudio, EMR Studio elimina todas las tareas de usuario y grupo del Centro de IAM Identidad asociadas al estudio.

nota

Cuando eliminas un estudio, Amazon EMR no elimina los espacios de trabajo asociados a ese estudio. Debe eliminar los espacios de trabajo de su estudio por separado.

Eliminar espacios de trabajo

Console

Como cada EMR Studio Workspace es una instancia de EMR bloc de notas, puedes usar la consola EMR de administración de Amazon para eliminar Workspaces. Puedes eliminar Workspaces mediante la EMR consola de Amazon antes o después de eliminar tu Studio.

Para eliminar un espacio de trabajo mediante la EMR consola de Amazon
  1. Ve a la nueva EMR consola de Amazon y selecciona Cambiar a la consola anterior en el panel de navegación lateral. Para más información sobre lo que puede esperar al cambiar a la consola antigua, consulte Uso de la consola antigua.

  2. Seleccione Cuadernos.

  3. Seleccione los espacios de trabajo que desea eliminar.

  4. Seleccione Eliminar y, a continuación, Eliminar de nuevo para confirmar la acción.

  5. Siga las instrucciones para eliminar objetos en la Guía del usuario de la consola de Amazon Simple Storage Service para eliminar los archivos de cuadernos asociados al espacio de trabajo eliminado de Amazon S3.

EMR Studio UI
From the Workspace UIFrom the Workspaces list
From the Workspace UI
Elimina un espacio de trabajo y sus archivos de respaldo asociados de EMR Studio
  1. Inicia sesión en EMR Studio con tu acceso a Studio URL y selecciona Espacios de trabajo en el menú de navegación de la izquierda.

  2. Busque su espacio de trabajo en la lista y seleccione la casilla de verificación que aparece junto a su nombre. Puede seleccionar varios espacios de trabajo para eliminarlos al mismo tiempo.

  3. Seleccione Eliminar en la esquina superior derecha de la lista de Espacios de trabajo y confirme que desea eliminar los espacios de trabajo seleccionados. Elija Eliminar para confirmar.

  4. Si desea eliminar los archivos de cuadernos que estaban asociados al espacio de trabajo eliminado de Amazon S3, siga las instrucciones para eliminar objetos en la Guía del usuario de la consola de Amazon Simple Storage Service. Si usted no creó el estudio, consulte a su administrador del estudio para determinar la ubicación de la copia de seguridad de Amazon S3 para el espacio de trabajo eliminado.

From the Workspaces list
Eliminar un espacio de trabajo y sus archivos de copia de seguridad asociados de la lista de espacios de trabajo
  1. Navegue hasta la lista Espacios de trabajo en la consola.

  2. Seleccione el espacio de trabajo que desee eliminar de la lista y, a continuación, seleccione Acciones.

  3. Elija Eliminar.

  4. Si desea eliminar los archivos de cuadernos que estaban asociados al espacio de trabajo eliminado de Amazon S3, siga las instrucciones para eliminar objetos en la Guía del usuario de la consola de Amazon Simple Storage Service. Si usted no creó el estudio, consulte a su administrador del estudio para determinar la ubicación de la copia de seguridad de Amazon S3 para el espacio de trabajo eliminado.

Elimina un estudio EMR

Console
Para eliminar un EMR estudio con la nueva consola
  1. Abre la EMR consola de Amazon en https://console.aws.amazon.com/emr.

  2. En EMRStudio, en el panel de navegación de la izquierda, selecciona Studios.

  3. Seleccione el estudio en la lista Studios con el botón situado a la izquierda del nombre del estudio. Elija Eliminar.

Old console
Para eliminar un EMR estudio con la consola anterior
  1. Abre la EMR consola de Amazon en https://console.aws.amazon.com/elasticmapreduce/casa.

  2. Selecciona EMRStudio en el menú de navegación de la izquierda.

  3. Seleccione el estudio en la lista Studios y elija Eliminar.

CLI

Para eliminar un EMR estudio con AWS CLI

Utilice el delete-studio AWS CLI comando para eliminar un EMR estudio. Para obtener más información, consulte Referencia de comandos de la AWS CLI .

aws emr delete-studio --studio-id <id-of-studio-to-delete>