AWS Data Pipeline 不再向新客户提供。的现有客户 AWS Data Pipeline 可以继续照常使用该服务。了解更多

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

EmrCluster

表示 Amazon EMR 集群的配置。EmrActivity 和 HadoopActivity 使用此对象来启动集群。

调度器

计划程序提供了一种方法来在 Hadoop 集群中指定资源分配和作业优先级。管理员或用户可以为各类用户和应用程序选择一个计划程序。计划程序可能使用队列来向用户和应用程序分配资源。您在创建集群时会设置这些队列。随后，您可以将特定类型的工作和用户设为优先于其他工作和用户。这样可以高效地使用集群资源，并允许多个用户将工作提交到集群。有以下三类计划程序可用：

Amazon EMR 发布版本

Amazon EMR 版本是一组来自大数据生态系统的开源应用程序。每个版本都包含不同的大数据应用程序、组件和功能，您可以在创建集群时选择让 Amazon EMR 安装和配置这些应用程序、组件和功能。可使用发行版标注指定版本。版本标签的格式是 emr-x.x.x。例如，emr-5.30.0。Amazon 基于发布标签进行EMR集群，emr-4.0.0然后使用该releaseLabel属性来指定EmrCluster对象的发布标签。早期版本使用 amiVersion 属性。

注意事项和限制

使用最新版本的任务运行程序

如果您将自管理的 EmrCluster 对象与版本标签结合使用，请使用最新的任务运行程序。有关任务运行程序的更多信息，请参阅使用任务运行程序。您可以为所有 Amazon EMR 配置分类配置属性值。有关更多信息，请参阅 Amazon EMR 发行指南中的配置应用程序EmrConfiguration、和属性对象参考。

Support IMDSv2

此前，仅 AWS Data Pipeline 支持IMDSv1。现在， AWS Data Pipeline 支持IMDSv2亚马逊 EMR 5.23.1、5.27.1 和 5.32 或更高版本，以及亚马逊 6.2 或更高版本。EMRIMDSv2在从实例检索元数据信息时，使用面向会话的方法来更好地处理身份验证。您应使用 TaskRunner -2.0 创建用户管理的资源，将您的实例配置为进行IMDSv2调用。

亚马逊 EMR 5.32 或更高版本和亚马逊 EMR 6.x

亚马逊 EMR 5.32或更高版本和6.x版本系列使用Hadoop版本3.x，与Hadoop版本2.x相比，该版本在评估Hadoop的类路径的方式上引入了重大变化。像 Joda-Time 这样的常见库已从类路径中删除。

如果 EmrActivity 或 HadoopActivity 运行的 Jar 文件依赖于 Hadoop 3.x 中已删除的库，则该步骤将失败，并显示错误 java.lang.NoClassDefFoundError 或 java.lang.ClassNotFoundException。对于使用 Amazon EMR 5.x 发行版没有问题运行的 Jar 文件，可能会发生这种情况。

要解决此问题，在启动 EmrActivity 或 HadoopActivity 之前，必须将 Jar 文件依赖关系复制到 EmrCluster 对象上的 Hadoop 类路径中。我们提供 bash 脚本来执行此操作。bash 脚本可在以下位置找到，其中 MyRegion 例如，是您的EmrCluster对象运行的 AWS 区域us-west-2。

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh

脚本的运行方式取决于EmrActivity或是在由 AWS Data Pipeline 自我管理的资源管理的资源上HadoopActivity运行还是在自管理的资源上运行。

如果您使用由管理的资源 AWS Data Pipeline，请bootstrapAction向EmrCluster对象添加。bootstrapAction 指定要复制作为参数的脚本和 Jar 文件。每个 EmrCluster 对象最多可以添加 255 个 bootstrapAction 字段，也可以向已有引导操作的 EmrCluster 对象添加 bootstrapAction 字段。

要将此脚本指定为引导操作，请使用以下语法，其中JarFileRegion是保存 Jar 文件的区域，每个 MyJarFilen 是 Amazon S3 中要复制到 Hadoop 类路径的 Jar 文件的绝对路径。请勿指定默认位于 Hadoop 类路径中的 Jar 文件。

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,JarFileRegion,MyJarFile1,MyJarFile2[, ...]

以下示例指定了一个引导操作，该操作将复制 Amazon S3 中的两个 Jar 文件：my-jar-file.jar 和 emr-dynamodb-tool-4.14.0-jar-with-dependencies.jar。此示例使用 us-west-2 区域。

{
  "id" : "MyEmrCluster",
  "type" : "EmrCluster",
  "keyPair" : "my-key-pair",
  "masterInstanceType" : "m5.xlarge",
  "coreInstanceType" : "m5.xlarge",
  "coreInstanceCount" : "2",
  "taskInstanceType" : "m5.xlarge",
  "taskInstanceCount": "2",
  "bootstrapAction" : ["s3://datapipeline-us-west-2/us-west-2/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,us-west-2,s3://path/to/my-jar-file.jar,s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar"]
}

我们强烈建议保存并激活管道，以便对新 bootstrapAction 的更改生效。

如果您使用自管理资源，则可以将脚本下载到集群实例，然后使用SSH从命令行运行。该脚本将在该目录中创建一个名为 /etc/hadoop/conf/shellprofile.d 的目录和一个名为 datapipeline-jars.sh 的文件。作为命令行参数提供的 jar 文件被复制到脚本创建的名为 /home/hadoop/datapipeline_jars 的目录中。如果您的集群设置不同，请在下载脚本后对脚本进行相应的修改。

在命令行上运行脚本的语法与使用前一个示例中所示的 bootstrapAction 略有不同。参数之间应使用空格而不是逗号，如以下示例所示。

./copy-jars-to-hadoop-classpath.sh us-west-2 s3://path/to/my-jar-file.jar s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar

亚马逊EMR权限

创建自定义IAM角色时，请仔细考虑集群执行其工作所需的最低权限。请务必授予访问所需资源的权限，例如亚马逊 S3 中的文件或亚马逊、亚马逊 Redshift 或 DynamoDB 中的数据。RDS如果您希望将 visibleToAllUsers 设置为 False，您的角色必须具有适当的权限才能执行此操作。请注意，DataPipelineDefaultRole 没有这些权限。您必须提供 DefaultDataPipelineResourceRole 和 DataPipelineDefaultRole 角色的联合作为 EmrCluster 对象角色或创建您自己的角色来实现此目的。

语法

另请参阅