AWS Data Pipeline 不再提供給新客戶。現有客戶 AWS Data Pipeline 可繼續正常使用此服務。進一步了解

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

EmrCluster

表示 Amazon EMR 叢集的組態。此物件是由EmrActivity和用HadoopActivity來啟動叢集。

排程器

排程器可提供在 Hadoop 叢集內指定資源配置和任務優先順序的方式。管理員或使用者可以為各種類別的使用者和應用程式選擇排程器。排程器可使用佇列，將資源配置給使用者和應用程式。您可以在建立叢集時設定這些佇列。您接著可以設定特定類型工作和使用者的優先順序。這可以讓您有效率地使用叢集資源，允許超過一名使用者將工作提交至叢集。有三種可用的排程器類型：

Amazon EMR 發布版本

Amazon EMR 版本是來自大數據生態系統的一組開放原始碼應用程式。每個版本都包含不同的大數據應用程式、元件和功能，您可以在建立叢集時選擇讓 Amazon EMR 安裝和設定這些功能。請使用版本標籤指定發行版本。發行標籤的格式應為 emr-x.x.x。例如：emr-5.30.0。Amazon EMR 叢集以發行標籤為基礎，emr-4.0.0並在稍後使用該releaseLabel屬性來指定EmrCluster物件的發行標籤。早期版本使用此 amiVersion 屬性。

考量事項與限制

使用最新版本的工作執行器

如果您正在使用具有發行版本標籤的自我管理EmrCluster物件，請使用最新的工作執行器。如需 Task Runner 的詳細資訊，請參閱使用工作執行器。您可以為所有 Amazon EMR 組態分類設定屬性值。如需詳細資訊，請參閱 Amazon EMR 版本指南中的設定應用程式EmrConfiguration、和屬性物件參考。

Support IMDSv2

稍早版本僅 AWS Data Pipeline 支援IMDSv1。現在，IMDSv2在 Amazon EMR 5.23.1，5.27.1 和 5.32 或更高版本以及 Amazon EMR 6.2 或更高版本中 AWS Data Pipeline 支持。IMDSv2從執行個體擷取中繼資料資訊時，會使用工作階段導向方法來更妥善處理驗證。您應該使用 TaskRunner -2.0 建立使用者管理的資源，將執行個體設定為IMDSv2撥打呼叫。

Amazon EMR 5.32 或更高版本和 Amazon 6.x EMR

Amazon EMR 5.32 或更高版本和 6.x 發布系列使用 Hadoop 版本 3.x，這引入了與 Hadoop 版本 2.x 相比，如何評估 Hadoop 的類路徑的突破性變化。像 Joda-Time 這樣的常見庫已從類路徑中刪除。

如果EmrActivity或HadoopActivity執行在 Hadoop 3.x 中移除的程式庫具有相依性的 Jar 檔案，則步驟會失敗並顯示錯誤java.lang.NoClassDefFoundError或。java.lang.ClassNotFoundException對於使用 Amazon EMR 5.x 發行版本沒有問題的 Jar 檔案，可能會發生這種情況。

若要修正此問題，您必須先將 Jar 檔案相依性複製到EmrCluster物件上的 Hadoop 類別路徑，然後再啟動或. EmrActivity HadoopActivity 我們提供了一個 bash 腳本來做到這一點。bash 腳本可在以下位置使用，其中 MyRegion 例如，您的EmrCluster對象運行的 AWS 區域us-west-2。

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh

執行指令碼的方式取決於是否EmrActivity在自我管理的資源上HadoopActivity執行 AWS Data Pipeline 或是在自我管理的資源上執行。

如果您使用由管理的資源 AWS Data Pipeline，請將一個新增bootstrapAction至EmrCluster物件。bootstrapAction指定要複製為引數的指令碼和 Jar 檔案。每個EmrCluster物件最多可以新增 255 個bootstrapAction欄位，也可以將bootstrapAction欄位新增至已具有啟動程序動作的EmrCluster物件。

若要將此指令碼指定為啟動程序動作，請使用下列語法，其中JarFileRegion是儲存 Jar 檔案的區域，以及每個 MyJarFilen 是要複製到 Hadoop 類路徑的 Jar 文件的 Amazon S3 中的絕對路徑。依預設，請勿指定 Hadoop 類別路徑中的 Jar 檔案。

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,JarFileRegion,MyJarFile1,MyJarFile2[, ...]

下列範例會指定在 Amazon S3 中複製兩個 Jar 檔案的啟動程序動作：my-jar-file.jar和emr-dynamodb-tool-4.14.0-jar-with-dependencies.jar. 範例中使用的區域為 us-west-2。

{
  "id" : "MyEmrCluster",
  "type" : "EmrCluster",
  "keyPair" : "my-key-pair",
  "masterInstanceType" : "m5.xlarge",
  "coreInstanceType" : "m5.xlarge",
  "coreInstanceCount" : "2",
  "taskInstanceType" : "m5.xlarge",
  "taskInstanceCount": "2",
  "bootstrapAction" : ["s3://datapipeline-us-west-2/us-west-2/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,us-west-2,s3://path/to/my-jar-file.jar,s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar"]
}

您必須儲存並啟動配管，新的變更bootstrapAction才會生效。

如果您使用自我管理的資源，您可以將指令碼下載到叢集執行個體，然後使用SSH. 該腳本創建一個名為的目錄/etc/hadoop/conf/shellprofile.d和一個datapipeline-jars.sh在該目錄中命名的文件。做為命令列引數提供的 jar 檔案會複製到指令碼建立名稱的目錄中/home/hadoop/datapipeline_jars。如果您的叢集設定不同，請在下載指令碼後適當地修改指令碼。

在命令列上執行指令碼的語法與使用上一個範例中bootstrapAction所示的語法略有不同。在引數之間使用空格而不是逗號，如下列範例所示。

./copy-jars-to-hadoop-classpath.sh us-west-2 s3://path/to/my-jar-file.jar s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar

Amazon EMR 許可

建立自訂IAM角色時，請仔細考慮叢集執行其工作所需的最低權限。請務必授予對所需資源的存取權，例如 Amazon S3 中的檔案或亞馬遜RDS、Amazon Redshift 或 DynamoDB 中的資料。若您希望將 visibleToAllUsers 設為 False，您的角色必須擁有適當的許可來執行此作業。請注意，DataPipelineDefaultRole 沒有這些許可。您必須提供DefaultDataPipelineResourceRole和DataPipelineDefaultRole角色的聯集作為EmrCluster對象角色，或為此目的創建自己的角色。

語法

另請參閱