Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Personalizzazione della configurazione di cluster e applicazioni con AMI le versioni precedenti di Amazon EMR

La EMR versione 4.0.0 di Amazon ha introdotto un metodo semplificato di configurazione delle applicazioni utilizzando classificazioni di configurazione. Per ulteriori informazioni, consulta Configurazione delle applicazioni. Quando usi una AMI versione, configuri le applicazioni utilizzando le azioni di bootstrap insieme agli argomenti che passi. Ad esempio, le azioni configure-hadoop e configure-daemons bootstrap impostano proprietà di Hadoop e YARN —specific environment come. --namenode-heap-size Nelle versioni più recenti, queste proprietà sono configurate mediante le classificazioni di configurazione hadoop-env e yarn-env. Per le azioni di bootstrap che eseguono configurazioni comuni, consulta il repository su Github. emr-bootstrap-actions

Le seguenti tabelle associano le azioni di bootstrap alle classificazioni di configurazione nelle EMR versioni più recenti di Amazon.

Per un elenco di tutte le classificazioni, consulta Configurazione delle applicazioni.

Variabili di ambiente applicazione

Quando si utilizza una AMI versione, viene utilizzato uno hadoop-user-env.sh script insieme all'azione configure-daemons bootstrap per configurare l'ambiente Hadoop. Lo script include le seguenti operazioni:

#!/bin/bash 
export HADOOP_USER_CLASSPATH_FIRST=true; 
echo "HADOOP_CLASSPATH=/path/to/my.jar" >> /home/hadoop/conf/hadoop-user-env.sh

Nella EMR versione 4.x di Amazon, esegui la stessa operazione utilizzando la classificazione della hadoop-env configurazione, come illustrato nell'esempio seguente:

[ 
      { 
         "Classification":"hadoop-env",
         "Properties":{ 

         },
         "Configurations":[ 
            { 
               "Classification":"export",
               "Properties":{ 
                  "HADOOP_USER_CLASSPATH_FIRST":"true",
                  "HADOOP_CLASSPATH":"/path/to/my.jar"
               }
            }
         ]
      }
   ]

Altro esempio: l'utilizzo di configure-daemons e il passaggio di --namenode-heap-size=2048 e --namenode-opts=-XX:GCTimeRatio=19 equivale alle classificazioni di configurazione esposte di seguito.

[ 
      { 
         "Classification":"hadoop-env",
         "Properties":{ 

         },
         "Configurations":[ 
            { 
               "Classification":"export",
               "Properties":{ 
                  "HADOOP_DATANODE_HEAPSIZE":  "2048",
           	"HADOOP_NAMENODE_OPTS":  "-XX:GCTimeRatio=19"
               }
            }
         ]
      }
   ]

Altre variabili di ambiente applicazione non sono più definite in /home/hadoop/.bashrc, ma sono principalmente impostate in file /etc/default per componente o applicazione, ad esempio /etc/default/hadoop. Gli script wrapper /usr/bin/ installati dall'applicazione RPMs possono anche impostare variabili di ambiente aggiuntive prima di utilizzare lo script bin effettivo.

Porte di servizio

Quando si utilizza una AMI versione, alcuni servizi utilizzano porte personalizzate.

Utenti

Quando si utilizza una AMI versione, l'utente hadoop esegue tutti i processi e possiede tutti i file. Nella EMR versione 4.0.0 e successive di Amazon, gli utenti esistono a livello di applicazione e componente.

Sequenza di installazione, artifact installati e posizioni dei file di log

Quando si utilizza una AMI versione, gli elementi dell'applicazione e le relative directory di configurazione vengono installati nella directory. /home/hadoop/application Ad esempio, se hai installato Hive, la directory sarebbe /home/hadoop/hive. Nella EMR versione 4.0.0 di Amazon e successive, gli artefatti dell'applicazione vengono installati nella directory. /usr/lib/application Quando si utilizza una AMI versione, i file di registro si trovano in varie posizioni. La tabella seguente elenca tali posizioni.

Runner di comandi

Quando si utilizza una AMI versione, molti script o programmi, ad esempio/home/hadoop/contrib/streaming/hadoop-streaming.jar, non vengono inseriti nell'ambiente del percorso di accesso alla shell, quindi è necessario specificare il percorso completo quando si utilizza un file jar come command-runner.jar o script-runner.jar per eseguire gli script. command-runner.jarSi trova sulla, AMI quindi non è necessario conoscerne il completo URI come nel caso di. script-runner.jar

Fattore di replica

Il fattore di replica consente di configurare quando avviare un JVM Hadoop. È possibile avviare un nuovo Hadoop JVM per ogni attività, che offre un migliore isolamento delle attività, oppure è possibile condividerle JVMs tra le attività, riducendo il sovraccarico del framework. Se si elaborano molti file di piccole dimensioni, è opportuno riutilizzarli più volte per JVM ammortizzare i costi di avvio. Tuttavia, se ogni operazione richiede molto tempo o elabora una grande quantità di dati, è possibile scegliere di non riutilizzarla per garantire che tutta la memoria venga liberata JVM per le attività successive. Quando si utilizza una AMI versione, è possibile personalizzare il fattore di replica utilizzando l'azione configure-hadoop bootstrap per impostare la proprietà. mapred.job.reuse.jvm.num.tasks

L'esempio seguente dimostra l'impostazione del fattore di riutilizzo per un JVM riutilizzo infinito. JVM

aws emr create-cluster --name "Test cluster" --ami-version 3.11.0 \
--applications Name=Hue Name=Hive Name=Pig \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m3.xlarge \
InstanceGroupType=CORE,InstanceCount=2,InstanceType=m3.xlarge \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hadoop,\
Name="Configuring infinite JVM reuse",Args=["-m","mapred.job.reuse.jvm.num.tasks=-1"]