Visualize interfaces web hospedadas em EMR clusters da Amazon - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Visualize interfaces web hospedadas em EMR clusters da Amazon

Importante

É possível configurar um grupo de segurança personalizado para permitir acesso de entrada a essas interfaces da Web. Lembre-se de que qualquer porta na qual você permita o tráfego de entrada representa uma possível vulnerabilidade de segurança. Revise atentamente os grupos de segurança personalizados para minimizar vulnerabilidades. Para obter mais informações, consulte Controle o tráfego de rede com grupos de segurança para seu EMR cluster Amazon.

O Hadoop e outros aplicativos que você instala no seu EMR cluster publicam interfaces de usuário como sites hospedados no nó primário. Por motivos de segurança, ao usar o Amazon EMR Managed Security Groups, esses sites só estão disponíveis no servidor web local do nó primário. Por isso, é necessário se conectar ao nó primário para visualizar as interfaces Web. Para obter mais informações, consulte Conecte-se ao nó primário EMR do cluster Amazon usando SSH. O Hadoop também publica interfaces de usuário como sites hospedados nos nós core e escravos. Esses sites também só estão disponíveis em servidores Web locais nos nós.

A tabela a seguir lista as interfaces da web que você pode visualizar nas instâncias do cluster. Essas interfaces Hadoop estão disponíveis em todos os clusters. Para as interfaces da instância mestre, master-public-dns-name substitua pelo público principal DNS listado na guia Resumo do cluster no EMR console da Amazon. Para interfaces principais e de instância de tarefas, coretask-public-dns-name substitua pelo DNSnome público listado para a instância. Para encontrar o DNSnome público de uma instância, no EMR console da Amazon, escolha seu cluster na lista, escolha a guia Hardware, escolha o ID do grupo de instâncias que contém a instância à qual você deseja se conectar e, em seguida, anote o DNSnome público listado para a instância.

Nome da interface

URI
Servidor de histórico Flink (EMRversão 5.33 e posterior) http: //:8082/ master-public-dns-name
Ganglia http://master-public-dns-name/ganglia/
Hadoop HDFS NameNode (EMRversão pré-6.x) https: //:50470/ master-public-dns-name
Hadoop HDFS NameNode http: //:50070/ master-public-dns-name
Hadoop HDFS DataNode http: //:50075/ coretask-public-dns-name
Hadoop HDFS NameNode (EMRversão 6.x) https: //:9870/ master-public-dns-name
Hadoop HDFS DataNode (EMRversão pré-6.x) https: //:50475/ coretask-public-dns-name
Hadoop HDFS DataNode (EMRversão 6.x) https: //:9865/ coretask-public-dns-name
HBase http: //:16010/ master-public-dns-name
Hue http: //:8888/ master-public-dns-name
JupyterHub https: //:9443/ master-public-dns-name
Livy http: //:8998/ master-public-dns-name
Faísca HistoryServer http: //:18080/ master-public-dns-name
Tez http: //:8080/tez-ui master-public-dns-name
YARN NodeManager http: //:8042/ coretask-public-dns-name
YARN ResourceManager http: //:8088/ master-public-dns-name
Zeppelin http: //:8890/ master-public-dns-name

Como há várias interfaces específicas de aplicativos disponíveis no nó primário que não estão disponíveis nos nós principais e de tarefas, as instruções neste documento são específicas para o nó primário da AmazonEMR. O acesso as interfaces Web em todos os nós centrais e de tarefa pode ser feito da mesma maneira como você acessaria as interfaces Web no nó primário.

Existem várias maneiras de acessar as interfaces Web no nó primário. O método mais fácil e rápido é conectar-se SSH ao nó primário e usar o navegador baseado em texto, o Lynx, para visualizar os sites em seu cliente. SSH No entanto, o Lynx é um navegador baseado em texto com uma interface de usuário limitada que não pode exibir gráficos. O exemplo a seguir mostra como abrir a ResourceManager interface do Hadoop usando o Lynx (o Lynx também URLs é fornecido quando você faz login no nó primário usando). SSH 

lynx http://ip-###-##-##-###.us-west-2.compute.internal:8088/

Existem duas opções restantes para acessar interfaces Web no nó primário que fornecem funcionalidade de navegador completa. Escolha uma das seguintes opções:

  • Opção 1 (recomendada para usuários mais técnicos): use um SSH cliente para se conectar ao nó primário, configure o SSH tunelamento com encaminhamento de porta local e use um navegador da Internet para abrir interfaces da Web hospedadas no nó primário. Esse método permite configurar o acesso à interface da web sem usar um SOCKS proxy.

  • Opção 2 (recomendada para novos usuários): use um SSH cliente para se conectar ao nó primário, configure o SSH tunelamento com encaminhamento dinâmico de portas e configure seu navegador da Internet para usar um complemento, como o Firefox ou SwitchyOmega o Chrome, FoxyProxy para gerenciar suas configurações de proxy. SOCKS Esse método permite filtrar automaticamente URLs com base em padrões de texto e limitar as configurações de proxy a domínios que correspondam ao formato do DNS nome do nó primário. Para obter mais informações sobre como configurar FoxyProxy para o Firefox e o Google Chrome, consulteOpção 2, parte 2: Definir configurações de proxy para visualizar sites hospedados no nó primário do EMR cluster Amazon.

nota

Se você modificar a porta em que um aplicativo é executado por meio da configuração do cluster, o hiperlink para a porta não será atualizado no EMR console da Amazon. Isso ocorre porque o console não tem a funcionalidade de ler a configuração server.port.

Com a Amazon EMR versão 5.25.0 ou posterior, você pode acessar a interface do servidor de histórico do Spark a partir do console sem configurar um proxy web por meio de uma conexão. SSH Para obter mais informações, consulte One-click access to persistent Spark history server.

Tópicos