提交流式处理步骤

提交流式处理步骤

1. 在 /emr 上打开亚马逊 EMR 控制台。https://console.aws.amazon.com

2. 在 Cluster List (集群列表) 中，选择您的集群的名称。

3. 滚动到 Steps (步骤) 部分并展开它，然后选择 Add step (添加步骤)。

4. 在 Add Step (添加步骤) 对话框中：

   • 对于 Step type (步骤类型)，选择 Streaming program (流式程序)。

   • 对于 Name (名称)，请接受默认名称（流式程序）或键入新名称。

   • 对于映射器，键入或浏览到 Hadoop 中映射器类所在的位置或映射器可执行文件（如 Python 程序）所在的 S3 存储桶。路径值必须采用BucketName/path/的形式MapperExecutable。

   • 对于 Reducer，键入或浏览到 Hadoop 中 Reducer 类所在的位置或 Reducer 可执行文件（如 Python 程序）所在的 S3 存储桶。路径值必须采用BucketName/path/的形式MapperExecutable。Amazon EMR 支持特殊 aggregate 关键字。有关更多信息，请转到 Hadoop 提供的 Aggregate 库。

   • 对于 Input S3 location (输入 S3 位置)，键入或浏览到输入数据的位置。

   • 对于 Output S3 location (输出 S3 位置)，键入或浏览到您的 Amazon S3 输出存储桶的名称。

   • 对于 Arguments (参数)，将该字段保留为空白。

   • 对于 Action on failure (出现故障时的操作)，接受默认选项 Continue (继续)。

5. 选择 添加。步骤会出现在控制台中，其状态为“Pending”。

6. 步骤的状态会随着步骤的运行从“Pending”变为“Running”，再变为“Completed”。要更新状态，请选择 Actions (操作) 列上方的 Refresh (刷新) 图标。

要创建集群并提交流式处理步骤，请使用 AWS CLI

• 要创建集群并使用提交流式处理步骤 AWS CLI，请键入以下命令并myKey替换为EC2 密钥对的名称。请注意，--files 的实际参数应该是指向您脚本位置的 Amazon S3 路径，并且 -mapper 和 -reducer 的实际参数应该是各自脚本文件的名称。

  aws emr create-cluster --name "Test cluster" --release-label emr-7.7.0 --applications Name=Hue Name=Hive Name=Pig --use-default-roles \
  --ec2-attributes KeyName=myKey --instance-type m5.xlarge --instance-count 3 \
  --steps Type=STREAMING,Name="Streaming Program",ActionOnFailure=CONTINUE,Args=[--files,pathtoscripts,-mapper,mapperscript,-reducer,reducerscript,aggregate,-input,pathtoinputdata,-output,pathtooutputbucket]

  注意

  为了便于读取，包含 Linux 行继续符（\）。它们可以通过 Linux 命令删除或使用。对于 Windows，请将它们删除或替换为脱字号 (^)。

  如果不使用 --instance-groups 参数指定实例计数，则将启动单个主节点，其余实例将作为核心节点启动。所有节点都使用该命令中指定的实例类型。

  注意

  如果您之前没有创建默认的 Amazon EMR 服务角色和 EC2 实例配置文件，请在键入子命令之前键入 aw emr create-default-roles s 进行创建。create-cluster

  有关在中使用 Amazon EMR 命令的更多信息 AWS CLI，请参阅。https://docs.aws.amazon.com/cli/latest/reference/emr