Gerencie um Amazon EMR Studio - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Gerencie um Amazon EMR Studio

Esta seção inclui instruções para ajudar você a monitorar, atualizar ou excluir um recurso do EMR Studio. Para obter informações sobre como atribuir usuários ou atualizar as permissões de usuários, consulte Atribuir e gerenciar usuários do EMR Studio.

Visualização de detalhes do Studio

Console
Para ver detalhes sobre um EMR Studio com o novo console
  1. Abra o EMR console da Amazon em https://console.aws.amazon.com/emr.

  2. Em EMREstúdio, no painel de navegação à esquerda, escolha Estúdios.

  3. Selecione o Studio na lista Studios para abrir a página de detalhes do Studio. A página de detalhes do Studio inclui informações de configuração do Studio, como a descrição do Studio e as sub-redes. VPC

CLI

Para recuperar detalhes de um EMR Studio by Studio ID usando o AWS CLI

Use o describe-studio AWS CLI comando a seguir para obter informações detalhadas sobre um EMR estúdio específico. Para obter mais informações, consulte Referência de comandos da AWS CLI .

aws emr describe-studio \ --studio-id <id-of-studio-to-describe> \

Para recuperar uma lista de EMR estúdios usando o AWS CLI

Use o seguinte comando list-studios AWS CLI : Para obter mais informações, consulte Referência de comandos da AWS CLI .

aws emr list-studios

Veja a seguir um exemplo de valor de retorno para o list-studios comando em JSON formato.

{ "Studios": [ { "AuthMode": "IAM", "VpcId": "vpc-b21XXXXX", "Name": "example-studio-name", "Url": "https://es-7HWP74SNGDXXXXXXXXXXXXXXX.emrstudio-prod.us-east-1.amazonaws.com", "CreationTime": 1605672582.781, "StudioId": "es-7HWP74SNGDXXXXXXXXXXXXXXX", "Description": "example studio description" } ] }

Monitore as ações do Amazon EMR Studio

Veja o EMR estúdio e a API atividade

EMRO Studio é integrado com AWS CloudTrail, um serviço que fornece um registro das ações realizadas por um usuário, por uma IAM função ou por outro AWS serviço no EMR Studio. CloudTrail captura API chamadas para o EMR Studio como eventos. Você pode ver os eventos usando o CloudTrail console em https://console.aws.amazon.com/cloudtrail/.

EMROs eventos do Studio fornecem informações como qual estúdio ou IAM usuário faz uma solicitação e que tipo de solicitação é essa.

nota

As ações no cluster, como execução de trabalhos de cadernos, não são emitidas para o AWS CloudTrail.

Você também pode criar uma trilha para entrega contínua de CloudTrail eventos do EMR Studio em um bucket do Amazon S3. Para obter mais informações, consulte o Guia do usuário do AWS CloudTrail.

Exemplo de CloudTrail evento: um usuário chama o DescribeStudio API

Veja a seguir um exemplo de AWS CloudTrail evento criado quando um usuárioadmin,, chama DescribeStudioAPIo. CloudTrail registra o nome do usuário comoadmin.

nota

Para proteger os detalhes do Studio, o API evento EMR Studio para DescribeStudio exclui um valor pararesponseElements.

{ "eventVersion":"1.08", "userIdentity":{ "type":"IAMUser", "principalId":"AIDXXXXXXXXXXXXXXXXXX", "arn":"arn:aws:iam::653XXXXXXXXX:user/admin", "accountId":"653XXXXXXXXX", "accessKeyId":"AKIAIOSFODNN7EXAMPLE", "userName":"admin" }, "eventTime":"2021-01-07T19:13:58Z", "eventSource":"elasticmapreduce.amazonaws.com", "eventName":"DescribeStudio", "awsRegion":"us-east-1", "sourceIPAddress":"72.XX.XXX.XX", "userAgent":"aws-cli/1.18.188 Python/3.8.5 Darwin/18.7.0 botocore/1.19.28", "requestParameters":{ "studioId":"es-9O5XXXXXXXXXXXXXXXXXXXXXX" }, "responseElements":null, "requestID":"0fxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "eventID":"b0xxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "readOnly":true, "eventType":"AwsApiCall", "managementEvent":true, "eventCategory":"Management", "recipientAccountId":"653XXXXXXXXX" }

Visualização de atividades de usuários e de trabalhos do Spark

Para visualizar a atividade de trabalho dos usuários do Amazon EMR Studio no Spark, você pode configurar a representação do usuário em um cluster. Com a representação do usuário, cada trabalho do Spark enviado de um Workspace é associado ao usuário do Studio que executou o código.

Quando a representação de usuário está ativada, a Amazon EMR cria um diretório de HDFS usuários no nó principal do cluster para cada usuário que executa código no espaço de trabalho. Por exemplo, se o usuário studio-user-1@example.com executar um código, você poderá se conectar ao nó primário e visualizar que hadoop fs -ls /user tem um diretório para studio-user-1@example.com.

Para configurar a representação do usuário do Spark, defina as propriedades abaixo nas seguintes classificações de configuração:

  • core-site

  • livy-conf

[ { "Classification": "core-site", "Properties": { "hadoop.proxyuser.livy.groups": "*", "hadoop.proxyuser.livy.hosts": "*" } }, { "Classification": "livy-conf", "Properties": { "livy.impersonation.enabled": "true" } } ]

Para visualizar as páginas do servidor de histórico, consulte Depure aplicativos e trabalhos com EMR o Studio. Você também pode se conectar ao nó primário do cluster usando SSH para visualizar as interfaces web do aplicativo. Para obter mais informações, consulte Visualize interfaces web hospedadas em EMR clusters da Amazon.

Atualizar um Amazon EMR Studio

Depois de criar um EMR Studio, você pode atualizar os seguintes atributos usando o AWS CLI:

  • Nome

  • Descrição

  • Local do S3 padrão

  • Sub-redes

Para atualizar um EMR Studio usando o AWS CLI

Use o update-studio AWS CLI comando para atualizar um EMR Studio. Para obter mais informações, consulte Referência de comandos da AWS CLI .

nota

Você pode associar um Studio a, no máximo, cinco sub-redes. Essas sub-redes devem pertencer às VPC mesmas do Studio. A lista de sub-redes IDs que você envia para o update-studio comando pode incluir uma nova sub-redeIDs, mas também deve incluir toda a sub-rede IDs que você já associou ao Studio. Não é possível remover sub-redes de um Studio.

aws emr update-studio \ --studio-id <example-studio-id-to-update> \ --name <example-new-studio-name> \ --subnet-ids <old-subnet-id-1 old-subnet-id-2 old-subnet-id-3 new-subnet-id> \

Para verificar as alterações, use o describe-studio AWS CLI comando e especifique sua ID do estúdio. Para obter mais informações, consulte Referência de comandos da AWS CLI .

aws emr describe-studio \ --studio-id <id-of-updated-studio> \

Excluir um Amazon EMR Studio e um Workspaces

Quando você exclui um Studio, o EMR Studio exclui todas as atribuições de usuários e grupos do IAM Identity Center associadas ao Studio.

nota

Quando você exclui um Studio, EMR a Amazon não exclui os Workspaces associados a esse Studio. Você deve excluir os Workspaces do seu Studio separadamente.

Exclusão de Workspaces

Console

Como cada EMR Studio Workspace é uma instância de EMR notebook, você pode usar o console de EMR gerenciamento da Amazon para excluir Workspaces. Você pode excluir espaços de trabalho usando o EMR console da Amazon antes ou depois de excluir seu Studio

Para excluir um espaço de trabalho usando o console da Amazon EMR
  1. Navegue até o novo EMR console da Amazon e selecione Alternar para o console antigo na navegação lateral. Para obter mais informações sobre o que esperar ao alternar para o console antigo, consulte Usar o console antigo.

  2. Escolha Cadernos.

  3. Selecione os Workspaces que você deseja excluir.

  4. Escolha Excluir e, em seguida, selecione Excluir novamente para confirmar.

  5. Siga as instruções para Excluir objetos no Guia do usuário do console do Amazon Simple Storage Service para remover os arquivos de cadernos associados ao Workspace excluído do Amazon S3.

EMR Studio UI
From the Workspace UIFrom the Workspaces list
From the Workspace UI
Excluir um espaço de trabalho e seus arquivos de backup associados do Studio EMR
  1. Faça login no seu EMR Studio com seu acesso ao Studio URL e escolha Workspaces no painel de navegação à esquerda.

  2. Localize seu Workspace na lista e, em seguida, marque a caixa de seleção ao lado do nome. É possível selecionar vários Workspaces a serem excluídos ao mesmo tempo.

  3. Escolha Excluir no canto superior direito da lista Workspaces e confirme que deseja excluir os Workspaces selecionados. Escolha Delete para confirmar.

  4. Se você desejar remover os arquivos de cadernos associados ao Workspace excluído do Amazon S3, siga as instruções para Excluir objetos no Guia do usuário do console do Amazon Simple Storage Service. Se não foi você quem criou o Studio, consulte o administrador do Studio para determinar o local de backup do Amazon S3 para o Workspace excluído.

From the Workspaces list
Exclusão de um Workspace e dos arquivos de backup associados da lista Workspaces
  1. Navegue até a lista Workspaces no console.

  2. Selecione o Workspace que deseja excluir da lista e, em seguida, escolha Ações.

  3. Escolha Excluir.

  4. Se você desejar remover os arquivos de cadernos associados ao Workspace excluído do Amazon S3, siga as instruções para Excluir objetos no Guia do usuário do console do Amazon Simple Storage Service. Se não foi você quem criou o Studio, consulte o administrador do Studio para determinar o local de backup do Amazon S3 para o Workspace excluído.

Excluir um EMR estúdio

Console
Para excluir um EMR Studio com o novo console
  1. Abra o EMR console da Amazon em https://console.aws.amazon.com/emr.

  2. Em EMREstúdio, no painel de navegação à esquerda, escolha Estúdios.

  3. Selecione o Studio na lista Studios com o botão de alternância à esquerda do nome do Studio. Escolha Excluir.

Old console
Para excluir um EMR Studio com o console antigo
  1. Abra o EMR console da Amazon em https://console.aws.amazon.com/elasticmapreduce/casa.

  2. Escolha EMRStudio no painel de navegação à esquerda.

  3. Selecione o Studio na lista Studios e escolha Excluir.

CLI

Para excluir um EMR estúdio com o AWS CLI

Use o delete-studio AWS CLI comando para excluir um EMR Studio. Para obter mais informações, consulte Referência de comandos da AWS CLI .

aws emr delete-studio --studio-id <id-of-studio-to-delete>