Visualize e reinicie a Amazon EMR e os processos de aplicativos (daemons) - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Visualize e reinicie a Amazon EMR e os processos de aplicativos (daemons)

Ao solucionar problemas em um cluster, você pode relacionar os processos em execução. Também pode ser útil interromper ou reiniciar processos. Por exemplo, você pode reiniciar os processos após alterar uma configuração ou observar um problema com um determinado processo após a análise de arquivos de log e mensagens de erro.

Há dois tipos de processos que são executados em um cluster: EMR processos da Amazon (por exemplo, controlador de instância e Log Pusher) e processos associados aos aplicativos instalados no cluster (por exemplo, hadoop-hdfs-namenode e). hadoop-yarn-resourcemanager

Para trabalhar com os processos diretamente em um cluster, primeiro é necessário conectar-se ao nó principal. Para obter mais informações, consulte Conecte-se a um EMR cluster da Amazon.

Visualizar processos em execução

O método que você usa para visualizar os processos em execução em um cluster difere de acordo com a EMR versão da Amazon que você usa.

EMR 5.30.0 and 6.0.0 and later
exemplo : Listar todos os processos em execução

O exemplo a seguir usa systemctl e especifica --type para visualizar todos os processos.

systemctl --type=service
exemplo : Listar processos específicos

O exemplo a seguir lista todos os processos com nomes que contenham hadoop.

systemctl --type=service | grep -i hadoop

Resultado do exemplo:

hadoop-hdfs-namenode.service loaded active running Hadoop namenode hadoop-httpfs.service loaded active running Hadoop httpfs hadoop-kms.service loaded active running Hadoop kms hadoop-mapreduce-historyserver.service loaded active running Hadoop historyserver hadoop-state-pusher.service loaded active running Daemon process that processes and serves EMR metrics data. hadoop-yarn-proxyserver.service loaded active running Hadoop proxyserver hadoop-yarn-resourcemanager.service loaded active running Hadoop resourcemanager hadoop-yarn-timelineserver.service loaded active running Hadoop timelineserver
exemplo : Ver um relatório de status detalhado de um processo específico

O exemplo a seguir exibe um relatório de status detalhado do serviço hadoop-hdfs-namenode.

sudo systemctl status hadoop-hdfs-namenode

Resultado do exemplo:

hadoop-hdfs-namenode.service - Hadoop namenode Loaded: loaded (/etc/systemd/system/hadoop-hdfs-namenode.service; enabled; vendor preset: disabled) Active: active (running) since Wed 2021-08-18 21:01:46 UTC; 26min ago Main PID: 9733 (java) Tasks: 0 Memory: 1.1M CGroup: /system.slice/hadoop-hdfs-namenode.service ‣ 9733 /etc/alternatives/jre/bin/java -Dproc_namenode -Xmx1843m -server -XX:OnOutOfMemoryError=kill -9 %p ... Aug 18 21:01:37 ip-172-31-20-123 systemd[1]: Starting Hadoop namenode... Aug 18 21:01:37 ip-172-31-20-123 su[9715]: (to hdfs) root on none Aug 18 21:01:37 ip-172-31-20-123 hadoop-hdfs-namenode[9683]: starting namenode, logging to /var/log/hadoop-hdfs/ha...out Aug 18 21:01:46 ip-172-31-20-123 hadoop-hdfs-namenode[9683]: Started Hadoop namenode:[ OK ] Aug 18 21:01:46 ip-172-31-20-123 systemd[1]: Started Hadoop namenode. Hint: Some lines were ellipsized, use -l to show in full.
EMR 4.x - 5.29.0
exemplo : Listar todos os processos em execução

O exemplo a seguir lista todos os processos que estão em execução.

initctl list
EMR 2.x - 3.x
exemplo : Listar todos os processos em execução

O exemplo a seguir lista todos os processos que estão em execução.

ls /etc/init.d/

Interromper e reiniciar processos

Depois de determinar quais processos estão em execução, você pode interrompê-los e reiniciá-los, se necessário.

EMR 5.30.0 and 6.0.0 and later
exemplo : Interromper um processo

O exemplo a seguir interrompe o processo hadoop-hdfs-namenode.

sudo systemctl stop hadoop-hdfs-namenode

Consulte o status para verificar se o processo foi interrompido.

sudo systemctl status hadoop-hdfs-namenode

Resultado do exemplo:

hadoop-hdfs-namenode.service - Hadoop namenode Loaded: loaded (/etc/systemd/system/hadoop-hdfs-namenode.service; enabled; vendor preset: disabled) Active: failed (Result: exit-code) since Wed 2021-08-18 21:37:50 UTC; 8s ago Main PID: 9733 (code=exited, status=143)
exemplo : Iniciar um processo

O exemplo a seguir inicia o processo hadoop-hdfs-namenode.

sudo systemctl start hadoop-hdfs-namenode

Consulte o status para verificar se o processo está em execução.

sudo systemctl status hadoop-hdfs-namenode

Resultado do exemplo:

hadoop-hdfs-namenode.service - Hadoop namenode Loaded: loaded (/etc/systemd/system/hadoop-hdfs-namenode.service; enabled; vendor preset: disabled) Active: active (running) since Wed 2021-08-18 21:38:24 UTC; 2s ago Process: 13748 ExecStart=/etc/init.d/hadoop-hdfs-namenode start (code=exited, status=0/SUCCESS) Main PID: 13800 (java) Tasks: 0 Memory: 1.1M CGroup: /system.slice/hadoop-hdfs-namenode.service ‣ 13800 /etc/alternatives/jre/bin/java -Dproc_namenode -Xmx1843m -server -XX:OnOutOfMemoryError=kill -9 %p...
EMR 4.x - 5.29.0
exemplo : Interromper um processo em execução

O exemplo a seguir interrompe o serviço hadoop-hdfs-namenode.

sudo stop hadoop-hdfs-namenode
exemplo : Reiniciar um processo interrompido

O exemplo a seguir reinicia o serviço hadoop-hdfs-namenode. Você deve usar o comando start em vez de restart.

sudo start hadoop-hdfs-namenode
exemplo : Verificar o status do processo

O exemplo a seguir busca o status de hadoop-hdfs-namenode. Você pode usar o comando status para verificar se o processo foi interrompido ou iniciado.

sudo status hadoop-hdfs-namenode
EMR 2.x - 3.x
exemplo : Interromper um processo da aplicação

O exemplo a seguir interrompe o hadoop-hdfs-namenode serviço, que está associado à versão da Amazon EMR instalada no cluster.

sudo /etc/init.d/hadoop-hdfs-namenode stop
exemplo : Reiniciar um processo da aplicação

O exemplo de comando a seguir reinicia o processo hadoop-hdfs-namenode:

sudo /etc/init.d/hadoop-hdfs-namenode start
exemplo : Interrompa um EMR processo da Amazon

O exemplo a seguir interrompe um processo, como instance-controller, que não está associado à versão da Amazon EMR no cluster.

sudo /sbin/stop instance-controller
exemplo : Reinicie um EMR processo da Amazon

O exemplo a seguir reinicia um processo, como instance-controller, que não está associado à versão da Amazon EMR no cluster.

sudo /sbin/start instance-controller
nota

Os comandos /sbin/start, stop e restart são symlinks para /sbin/intictl. Para obter mais informações sobre initctl, consulte a página do manual do initctl digitando man initctl no prompt de comando.