Gerenciamento de clusters do Amazon EMR com o console
O console fornece uma interface atualizada que oferece uma maneira intuitiva de gerenciar o ambiente do Amazon EMR e disponibiliza o acesso conveniente à documentação, às informações sobre os produtos e aos outros recursos.
Recursos do console
O console do Amazon EMR está disponível no seguinte URL:
-
URL do console: https://console.aws.amazon.com/emr
A tabela a seguir lista o principal status dos componentes do console do Amazon EMR.
| Componente do console do Amazon EMR | Console |
|---|---|
|
EMR Studio |
✔ |
|
Criar e gerenciar clusters |
✔ |
|
Bloqueio de acesso público |
✔ |
|
Monitoramento do Amazon CloudWatch Events |
✔ |
|
Configurações de segurança |
✔ |
|
Clusters virtuais (Amazon EMR no EKS) |
✔ |
| Exibição e gerenciamento de sub-redes da Amazon Virtual Private Cloud1 | ✔ |
|
Cadernos2 |
✔ |
1 No console, é possível exibir e gerenciar as sub-redes da Amazon VPC na seção Redes ao criar um cluster.
2 cadernos do EMR estão disponíveis como Workspaces do EMR Studio no console. O botão Criar Workspace no console permite criar cadernos. Para acessar ou criar Workspaces, os usuários dos Cadernos do EMR precisam de permissões adicionais de perfil do IAM. Para obter mais informações, consulte Amazon EMR Notebooks are Amazon EMR Studio Workspaces in the console e console do Amazon EMR.
Resumo das diferenças
Esta seção descreve os recursos da experiência do console do Amazon EMR. Esses recursos se enquadram nas seguintes categorias:
Compatibilidade de clusters no console
Em alguns casos, um cluster criado pode não ser compatível com o console. A lista a seguir descreve os requisitos de compatibilidade para o console do Amazon EMR.
-
O console oferece suporte a clusters criados nas versões 5.20.1 e posteriores do Amazon EMR.
-
É possível clonar clusters que usam o ajuste de escala automático no console, mas você poderá criar clusters somente se desejar escalá-los manualmente ou usar o ajuste de escala gerenciado.
Para criar e trabalhar com clusters da versão 5.20.1 e anteriores, você pode usar a AWS Command Line Interface (AWS CLI) ou o AWS SDK.
Criar clusters
| Recurso | Console |
|---|---|
|
Terminologia: tipos de nós de cluster do Amazon EMR |
Primário, central e de tarefa |
|
Versão 5.20.1 e posterior do Amazon EMR |
|
|
Use o botão Criar cluster no painel Resumo. O nome do cluster não pode conter os caracteres <, >, $, | ou ` (crase). |
|
Defina um período de tempo limite para o provisionamento de instâncias para cada frota no cluster. |
|
Perfis de serviço e perfil para o perfil de instância do Amazon EC2 |
O console não cria perfis padrão. Você deve criar perfis com o console do IAM |
| No console do Amazon EMR, não é possível tornar um cluster visível para todos os usuários. Sua política do IAM determina o acesso ao cluster. | |
| Você deve configurar endpoints do Amazon S3 e gateways NAT usando os respectivos consoles do Amazon S3 |
|
|
Visualização consistente do Sistema de Arquivos do EMR (EMRFS CV) |
Com a versão de consistência avançada de leitura após gravação do Amazon S3 em 1.º de dezembro de 2020, você não precisa usar a EMRFS CV com seus clusters do EMR. |
| Você pode depurar trabalhos usando a interface do usuário da aplicação na página de detalhes do cluster. |
1 Não é possível criar ou editar clusters usando versões anteriores ao Amazon EMR 5.20.1 no console, mas todos os clusters existentes que foram criados usando versões anteriores à 5.20.1 continuarão funcionando. Para criar e editar clusters com versões do Amazon EMR anteriores à 5.20.1, use a API ou a CLI. Você pode exibir todos os clusters usando o console, mas os consoles criados antes da versão 5.20.1 podem não ser compatíveis com os recursos mais recentes.
Exibição e pesquisa de clusters
A tabela a seguir destaca como você pode usar o console do Amazon EMR para exibir e pesquisar clusters.
nota
A aplicação de um filtro de dados à lista de clusters consulta todo o banco de dados. Entretanto, ao inserir uma string de texto na caixa de pesquisa, a pesquisa se aplica somente aos resultados que a lista carregou no lado do cliente.
| Recurso | Console |
|---|---|
|
Visualização de detalhes do cluster |
Você pode selecionar o ID do cluster para visualizar os detalhes completos do cluster, como as opções de configuração, as interfaces do usuário de aplicações persistentes e os logs. |
|
Pesquisa de clusters |
Use um único campo de pesquisa para inserir consultas de pesquisa de texto e para criar e aplicar filtros de dados como “Status = qualquer status ativo”. |
|
Descoberta de clusters com falha |
Para pesquisar clusters com falha, aplique o filtro Status = Encerrado com erros. |
Exibição ou edição de detalhes do cluster
| Recurso | Console |
|---|---|
|
Visualização das instâncias em seus grupos de instâncias e frotas de instâncias, em conjunto com opções de escalabilidade, provisionamento, redimensionamento e encerramento. |
Veja as opções e os detalhes da instância na guia Instâncias. Veja as opções de encerramento na guia Propriedades. |
|
Visualização de interfaces do usuário, logs e configurações de aplicações (interface do usuário do Apache Spark |
Veja as configurações do cluster na guia Configurações. Inicie uma interface do usuário da aplicação dinâmica e persistente para visualizar os logs de uma aplicação na guia Aplicações. |
|
Exportação de um cluster para a CLI |
Opção disponível nos menus de detalhes e de visualização da listagem de Ações do cluster como “Visualizar comando para clonar cluster”. |
Diferenças no trabalho com configurações de segurança
| Recurso | Console |
|---|---|
|
Clonagem de configurações de segurança |
✔ |
|
✔ |
|
|
Uso de um perfil de runtime para envio de trabalhos a um cluster1 |
✔ |
|
Autorização de acesso aos dados do Sistema de Arquivos do EMR (EMRFS) |
Pontos de acesso Amazon S3 |
|
Controles de acesso do AWS Lake Formation |
Perfis de runtime |
1 Para transmitir um perfil durante o envio da etapa, o cluster deve usar uma configuração de segurança com uma política de permissões do IAM anexada para que o usuário possa transmitir somente os perfis aprovados e os trabalhos possam acessar os recursos do Amazon EMR. Para ter mais informações, consulte Perfis de runtime para etapas ao Amazon EMR.
