As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Personalização da configuração de clusters e aplicativos com AMI versões anteriores da Amazon EMR

A EMR versão 4.0.0 da Amazon introduziu um método simplificado de configuração de aplicativos usando classificações de configuração. Para obter mais informações, consulte Configurar aplicações. Ao usar uma AMI versão, você configura aplicativos usando ações de bootstrap junto com os argumentos que você passa. Por exemplo, as ações configure-hadoop e configure-daemons bootstrap definem o Hadoop e propriedades YARN específicas do ambiente, como. --namenode-heap-size Em versões mais recentes, elas são configuradas usando as classificações de configuração hadoop-env e yarn-env. Para ações de bootstrap que realizam configurações comuns, consulte o emr-bootstrap-actions repositório no Github.

As tabelas a seguir mapeiam as ações de bootstrap para as classificações de configuração nas EMR versões mais recentes da Amazon.

Para obter uma lista de todas as classificações, consulte Configurar aplicações.

Variáveis de ambientes de aplicações

Ao usar uma AMI versão, um hadoop-user-env.sh script é usado junto com a ação configure-daemons bootstrap para configurar o ambiente Hadoop. O script inclui as seguintes ações:

#!/bin/bash 
export HADOOP_USER_CLASSPATH_FIRST=true; 
echo "HADOOP_CLASSPATH=/path/to/my.jar" >> /home/hadoop/conf/hadoop-user-env.sh

Na EMR versão 4.x da Amazon, você faz o mesmo usando a classificação de hadoop-env configuração, conforme mostrado no exemplo a seguir:

[ 
      { 
         "Classification":"hadoop-env",
         "Properties":{ 

         },
         "Configurations":[ 
            { 
               "Classification":"export",
               "Properties":{ 
                  "HADOOP_USER_CLASSPATH_FIRST":"true",
                  "HADOOP_CLASSPATH":"/path/to/my.jar"
               }
            }
         ]
      }
   ]

Como outro exemplo, usar configure-daemons e transmitir --namenode-heap-size=2048 e --namenode-opts=-XX:GCTimeRatio=19 é equivalente às seguintes classificações de configuração.

[ 
      { 
         "Classification":"hadoop-env",
         "Properties":{ 

         },
         "Configurations":[ 
            { 
               "Classification":"export",
               "Properties":{ 
                  "HADOOP_DATANODE_HEAPSIZE":  "2048",
           	"HADOOP_NAMENODE_OPTS":  "-XX:GCTimeRatio=19"
               }
            }
         ]
      }
   ]

As outras variáveis do ambiente de aplicativos não são mais definidas em /home/hadoop/.bashrc. Em vez disso, elas são definidas nos arquivos /etc/default por componente ou aplicativo, como por exemplo /etc/default/hadoop. Os scripts de wrapper /usr/bin/ instalados pelo aplicativo também RPMs podem definir variáveis de ambiente adicionais antes de envolver o script bin real.

Portas de serviço

Ao usar uma AMI versão, alguns serviços usam portas personalizadas.

Usuários

Ao usar uma AMI versão, o usuário hadoop executa todos os processos e possui todos os arquivos. Na EMR versão 4.0.0 e posterior da Amazon, os usuários existem no nível do aplicativo e do componente.

Sequência de instalação, artefatos instalados e locais dos arquivos de log

Ao usar uma AMI versão, os artefatos do aplicativo e seus diretórios de configuração são instalados no /home/hadoop/application diretório. Por exemplo, se você tivesse o Hive instalado, o diretório seria /home/hadoop/hive. Na EMR versão 4.0.0 e posterior da Amazon, os artefatos do aplicativo são instalados no /usr/lib/application diretório. Ao usar uma AMI versão, os arquivos de log são encontrados em vários lugares. A tabela a seguir lista os locais.

Executor de comandos

Ao usar uma AMI versão, muitos scripts ou programas, por exemplo/home/hadoop/contrib/streaming/hadoop-streaming.jar, não são colocados no ambiente do caminho de login do shell, então você precisa especificar o caminho completo ao usar um arquivo jar, como command-runner.jar ou script-runner.jar, para executar os scripts. Ele command-runner.jar está localizado noAMI, portanto, não há necessidade de saber a totalidadeURI, como foi o caso comscript-runner.jar.

Fator de replicação

O fator de replicação permite que você configure quando iniciar um JVM Hadoop. Você pode iniciar um novo Hadoop JVM para cada tarefa, o que proporciona melhor isolamento de tarefas, ou você pode compartilhar JVMs entre tarefas, proporcionando menor sobrecarga da estrutura. Se você estiver processando muitos arquivos pequenos, faz sentido reutilizá-los JVM várias vezes para amortizar o custo de inicialização. No entanto, se cada tarefa levar muito tempo ou processar uma grande quantidade de dados, você poderá optar por não reutilizá-las JVM para garantir que toda a memória seja liberada para tarefas subsequentes. Ao usar uma AMI versão, você pode personalizar o fator de replicação usando a ação configure-hadoop bootstrap para definir a mapred.job.reuse.jvm.num.tasks propriedade.

O exemplo a seguir demonstra a configuração do fator de JVM reutilização para reutilização infinitaJVM.

aws emr create-cluster --name "Test cluster" --ami-version 3.11.0 \
--applications Name=Hue Name=Hive Name=Pig \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m3.xlarge \
InstanceGroupType=CORE,InstanceCount=2,InstanceType=m3.xlarge \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hadoop,\
Name="Configuring infinite JVM reuse",Args=["-m","mapred.job.reuse.jvm.num.tasks=-1"]