本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

採用 Amazon EMR 的舊版 AMI 來自訂叢集和應用程式組態

Amazon EMR 發行版本 4.0.0 推出一個簡易方法，可讓您使用組態分類來設定應用程式。如需詳細資訊，請參閱設定應用程式。使用 AMI 版本時，您使用引導操作與所傳遞的引數來設定應用程式。例如，configure-hadoop 和 configure-daemons 引導操作會設定 Hadoop 和特定於 YARN 的環境屬性 (例如 --namenode-heap-size)。在較新版本中，這些會使用 hadoop-env 和 yarn-env 組態分類來加以設定。有關執行常見的組態的引導操作，請參閱 Github 上的 emr-bootstrap-actions 儲存庫。

下表會將引導操作映射至較新 Amazon EMR 發行版本中的組態分類。

如需所有分類的清單，請參閱 設定應用程式。

應用程式環境變數

使用 AMI 版本時，會一同使用 hadoop-user-env.sh 指令碼與 configure-daemons 引導操作來設定 Hadoop 環境。指令碼包含下列動作：

#!/bin/bash 
export HADOOP_USER_CLASSPATH_FIRST=true; 
echo "HADOOP_CLASSPATH=/path/to/my.jar" >> /home/hadoop/conf/hadoop-user-env.sh

在 Amazon EMR 版本 4.x 中，您會使用 hadoop-env 組態分類進行相同動作，如下所示：

[ 
      { 
         "Classification":"hadoop-env",
         "Properties":{ 

         },
         "Configurations":[ 
            { 
               "Classification":"export",
               "Properties":{ 
                  "HADOOP_USER_CLASSPATH_FIRST":"true",
                  "HADOOP_CLASSPATH":"/path/to/my.jar"
               }
            }
         ]
      }
   ]

另一個例子是，使用 configure-daemons 和傳遞 --namenode-heap-size=2048 和 --namenode-opts=-XX:GCTimeRatio=19 等同於以下組態分類。

[ 
      { 
         "Classification":"hadoop-env",
         "Properties":{ 

         },
         "Configurations":[ 
            { 
               "Classification":"export",
               "Properties":{ 
                  "HADOOP_DATANODE_HEAPSIZE":  "2048",
           	"HADOOP_NAMENODE_OPTS":  "-XX:GCTimeRatio=19"
               }
            }
         ]
      }
   ]

不再在 /home/hadoop/.bashrc 中定義其他應用程式環境變數。反之，主要是在 /etc/default 檔案中根據元件或應用程式來設定這些變數，例如 /etc/default/hadoop。應用程式 RPM 安裝之 /usr/bin/ 中的包裝函式指令碼也可能會設定額外的環境變數，再參與實際 bin 指令碼。

服務連接埠

使用 AMI 版本時，有些服務會使用自訂連接埠。

使用者

使用 AMI 版本時，使用者在 hadoop 會執行所有程序並擁有所有檔案。在 Amazon EMR 發行版本 4.0.0 和更高版本中，使用者存在於應用程式和元件層級。

安裝順序、安裝成品，以及日誌檔案位置

使用 AMI 版本時，應用程式成品及其組態目錄是安裝在 /home/hadoop/application 目錄。例如，如果您已安裝 Hive，目錄會是 /home/hadoop/hive。在 Amazon EMR 4.0.0 版和更高版本中，應用程式成品是安裝在 /usr/lib/application 目錄中。使用 AMI 版本時，可在各種位置找到日誌檔。下表列出位置。

命令執行器

使用 AMI 版本時，不會將許多指令碼或程式 (例如 /home/hadoop/contrib/streaming/hadoop-streaming.jar) 放置在 shell 登入路徑環境，因此當您使用 JAR 檔案 (例如 command-runner.jar) 或 script-runner.jar 來執行指令碼時，會需要指定完整路徑。command-runner.jar 就位於 AMI，所以不需要知道完整 URI，因為就跟 script-runner.jar 案例一樣。

複寫係數

複寫係數可讓您設定啟動 Hadoop JVM 的時間。您可以為每個任務啟動新 Hadoop JVM，其會提供更佳的隔離，或者您可以在任務之間共用 JVM，來降低架構開銷。如果您處理的是許多小檔案，多次重複使用 JVM 來分攤啟動的成本的做法相當合理。不過，如果每個任務需要很長的時間或處理大量資料，您可能會選擇不重複使用 JVM，以確保所有記憶體可供後續任務使用。使用 AMI 版本時，您可以使用 configure-hadoop 引導操作來設定 mapred.job.reuse.jvm.num.tasks 屬性以自訂複寫係數。

以下範例示範為無限 JVM 重複使用設定 JVM 重複使用因子。

aws emr create-cluster --name "Test cluster" --ami-version 3.11.0 \
--applications Name=Hue Name=Hive Name=Pig \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m3.xlarge \
InstanceGroupType=CORE,InstanceCount=2,InstanceType=m3.xlarge \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hadoop,\
Name="Configuring infinite JVM reuse",Args=["-m","mapred.job.reuse.jvm.num.tasks=-1"]