Monitore, atualize e exclua recursos do Amazon EMR Studio - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Monitore, atualize e exclua recursos do Amazon EMR Studio

Esta seção inclui instruções para ajudar você a monitorar, atualizar ou excluir um recurso do EMR Studio. Para obter informações sobre como atribuir usuários ou atualizar as permissões de usuários, consulte Atribua e gerencie usuários do EMR Studio.

Visualização de detalhes do Studio

Console
Visualizar detalhes sobre um EMR Studio com o novo console
  1. Abra o console do Amazon EMR em https://console.aws.amazon.com /emr.

  2. Em EMR Studio, no painel de navegação à esquerda, escolha Studios.

  3. Selecione o Studio na lista Studios para abrir a página de detalhes do Studio. A página de detalhes do Studio inclui informações de Configurações do Studio, como a Descrição, a VPC e as Sub-redes do Studio.

CLI

Para recuperar detalhes de um EMR Studio by Studio ID usando o AWS CLI

Use o describe-studio AWS CLI comando a seguir para obter informações detalhadas sobre um EMR Studio específico. Para obter mais informações, consulte Referência de comandos da AWS CLI .

aws emr describe-studio \ --studio-id <id-of-studio-to-describe> \

Recuperar uma lista de EMR Studios usando a AWS CLI

Use o seguinte comando list-studios AWS CLI : Para obter mais informações, consulte Referência de comandos da AWS CLI .

aws emr list-studios

A seguir, é apresentado um exemplo do valor de retorno do comando list-studios no formato JSON.

{ "Studios": [ { "AuthMode": "IAM", "VpcId": "vpc-b21XXXXX", "Name": "example-studio-name", "Url": "https://es-7HWP74SNGDXXXXXXXXXXXXXXX.emrstudio-prod.us-east-1.amazonaws.com", "CreationTime": 1605672582.781, "StudioId": "es-7HWP74SNGDXXXXXXXXXXXXXXX", "Description": "example studio description" } ] }

Monitoramento das ações do Amazon EMR Studio

Visualização da atividade do EMR Studio e da API

O EMR Studio é integrado com AWS CloudTrail, um serviço que fornece um registro das ações realizadas por um usuário, por uma função do IAM ou por outro AWS serviço no EMR Studio. CloudTrail captura chamadas de API para o EMR Studio como eventos. Você pode ver os eventos usando o CloudTrail console em https://console.aws.amazon.com/cloudtrail/.

Os eventos do EMR Studio fornecem informações sobre qual usuário do IAM ou do Studio realiza uma solicitação e qual é o tipo de solicitação.

nota

As ações no cluster, como execução de trabalhos de cadernos, não são emitidas para o AWS CloudTrail.

Você também pode criar uma trilha para entrega contínua de CloudTrail eventos do EMR Studio em um bucket do Amazon S3. Para obter mais informações, consulte o Guia do usuário do AWS CloudTrail.

Exemplo de CloudTrail evento: um usuário chama a DescribeStudio API

Veja a seguir um exemplo de AWS CloudTrail evento criado quando um usuário,admin, chama a DescribeStudioAPI. CloudTrail registra o nome do usuário comoadmin.

nota

Para proteger os detalhes do Studio, o evento da API do EMR Studio para DescribeStudio exclui um valor para. responseElements

{ "eventVersion":"1.08", "userIdentity":{ "type":"IAMUser", "principalId":"AIDXXXXXXXXXXXXXXXXXX", "arn":"arn:aws:iam::653XXXXXXXXX:user/admin", "accountId":"653XXXXXXXXX", "accessKeyId":"AKIAIOSFODNN7EXAMPLE", "userName":"admin" }, "eventTime":"2021-01-07T19:13:58Z", "eventSource":"elasticmapreduce.amazonaws.com", "eventName":"DescribeStudio", "awsRegion":"us-east-1", "sourceIPAddress":"72.XX.XXX.XX", "userAgent":"aws-cli/1.18.188 Python/3.8.5 Darwin/18.7.0 botocore/1.19.28", "requestParameters":{ "studioId":"es-9O5XXXXXXXXXXXXXXXXXXXXXX" }, "responseElements":null, "requestID":"0fxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "eventID":"b0xxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "readOnly":true, "eventType":"AwsApiCall", "managementEvent":true, "eventCategory":"Management", "recipientAccountId":"653XXXXXXXXX" }

Visualização de atividades de usuários e de trabalhos do Spark

Para visualizar a atividade de trabalho do Spark que é realizada por usuários do Amazon EMR Studio, é possível configurar a representação do usuário em um cluster. Com a representação do usuário, cada trabalho do Spark enviado de um Workspace é associado ao usuário do Studio que executou o código.

Quando a representação do usuário está habilitada, o Amazon EMR cria um diretório de usuários do HDFS no nó primário do cluster para cada usuário que executa códigos no Workspace. Por exemplo, se o usuário studio-user-1@example.com executar um código, você poderá se conectar ao nó primário e visualizar que hadoop fs -ls /user tem um diretório para studio-user-1@example.com.

Para configurar a representação do usuário do Spark, defina as propriedades abaixo nas seguintes classificações de configuração:

  • core-site

  • livy-conf

[ { "Classification": "core-site", "Properties": { "hadoop.proxyuser.livy.groups": "*", "hadoop.proxyuser.livy.hosts": "*" } }, { "Classification": "livy-conf", "Properties": { "livy.impersonation.enabled": "true" } } ]

Para visualizar as páginas do servidor de histórico, consulte Depuração de aplicações e trabalhos com o EMR Studio. Você também pode se conectar ao nó primário do cluster usando SSH para visualizar as interfaces da Web da aplicação. Para obter mais informações, consulte Visualizar interfaces Web hospedadas em clusters do Amazon EMR.

Atualização de um Amazon EMR Studio

Após criar um EMR Studio, você poderá atualizar os seguintes atributos usando a AWS CLI:

  • Nome

  • Descrição

  • Local do S3 padrão

  • Sub-redes

Para atualizar um EMR Studio usando o AWS CLI

Use o update-studio AWS CLI comando para atualizar um EMR Studio. Para obter mais informações, consulte Referência de comandos da AWS CLI .

nota

Você pode associar um Studio a, no máximo, cinco sub-redes. Essas sub-redes devem pertencer à mesma VPC do Studio. A lista de sub-redes IDs que você envia para o update-studio comando pode incluir uma nova sub-rede IDs, mas também deve incluir toda a sub-rede IDs que você já associou ao Studio. Não é possível remover sub-redes de um Studio.

aws emr update-studio \ --studio-id <example-studio-id-to-update> \ --name <example-new-studio-name> \ --subnet-ids <old-subnet-id-1 old-subnet-id-2 old-subnet-id-3 new-subnet-id> \

Para verificar as alterações, use o describe-studio AWS CLI comando e especifique sua ID do estúdio. Para obter mais informações, consulte Referência de comandos da AWS CLI .

aws emr describe-studio \ --studio-id <id-of-updated-studio> \

Exclusão de um Amazon EMR Studio e de Workspaces

Quando você exclui um Studio, o EMR Studio exclui todas as atribuições de usuários e de grupos do Centro de Identidade do IAM associadas ao Studio.

nota

Quando você exclui um Studio, o Amazon EMR não exclui os Workspaces associados a esse Studio. Você deve excluir os Workspaces do seu Studio separadamente.

Exclusão de Workspaces

Console

Como cada Workspace do EMR Studio corresponde a uma instância de caderno do EMR, você pode usar o console de gerenciamento do Amazon EMR para excluir Workspaces. É possível excluir Workspaces usando o console do Amazon EMR antes ou depois de excluir o Studio.

Excluir um Workspace usando o console do Amazon EMR
  1. Navegue até o novo console do Amazon EMR e selecione Alternar para o console antigo na navegação lateral. Para obter mais informações sobre o que esperar ao alternar para o console antigo, consulte Usar o console antigo.

  2. Escolha Cadernos.

  3. Selecione os Workspaces que você deseja excluir.

  4. Escolha Excluir e, em seguida, selecione Excluir novamente para confirmar.

  5. Siga as instruções para Excluir objetos no Guia do usuário do console do Amazon Simple Storage Service para remover os arquivos de cadernos associados ao Workspace excluído do Amazon S3.

EMR Studio UI
From the Workspace UIFrom the Workspaces list
From the Workspace UI
Exclusão de um Workspace e dos arquivos de backup associados do EMR Studio
  1. Faça login no EMR Studio com o URL de acesso do Studio e escolha Workspaces no painel de navegação à esquerda.

  2. Localize seu Workspace na lista e, em seguida, marque a caixa de seleção ao lado do nome. É possível selecionar vários Workspaces a serem excluídos ao mesmo tempo.

  3. Escolha Excluir no canto superior direito da lista Workspaces e confirme que deseja excluir os Workspaces selecionados. Escolha Delete para confirmar.

  4. Se você desejar remover os arquivos de cadernos associados ao Workspace excluído do Amazon S3, siga as instruções para Excluir objetos no Guia do usuário do console do Amazon Simple Storage Service. Se não foi você quem criou o Studio, consulte o administrador do Studio para determinar o local de backup do Amazon S3 para o Workspace excluído.

From the Workspaces list
Exclusão de um Workspace e dos arquivos de backup associados da lista Workspaces
  1. Navegue até a lista Workspaces no console.

  2. Selecione o Workspace que deseja excluir da lista e, em seguida, escolha Ações.

  3. Escolha Excluir.

  4. Se você desejar remover os arquivos de cadernos associados ao Workspace excluído do Amazon S3, siga as instruções para Excluir objetos no Guia do usuário do console do Amazon Simple Storage Service. Se não foi você quem criou o Studio, consulte o administrador do Studio para determinar o local de backup do Amazon S3 para o Workspace excluído.

Exclusão de um EMR Studio

Console
Excluir um EMR Studio com o novo console
  1. Abra o console do Amazon EMR em https://console.aws.amazon.com /emr.

  2. Em EMR Studio, no painel de navegação à esquerda, escolha Studios.

  3. Selecione o Studio na lista Studios com o botão de alternância à esquerda do nome do Studio. Escolha Excluir.

Old console
Excluir um EMR Studio com o console antigo
  1. Abra o console do Amazon EMR em casahttps://console.aws.amazon.com/elasticmapreduce/.

  2. Escolha EMR Studio no painel de navegação à esquerda.

  3. Selecione o Studio na lista Studios e escolha Excluir.

CLI

Para excluir um EMR Studio com o AWS CLI

Use o delete-studio AWS CLI comando para excluir um EMR Studio. Para obter mais informações, consulte Referência de comandos da AWS CLI .

aws emr delete-studio --studio-id <id-of-studio-to-delete>