跑一个 EMR Serverless 作业 - AWS Step Functions

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

跑一个 EMR Serverless 作业

此示例项目演示了如何创建和启动 EMR Serverless 应用程序并在其中运行多个作业。

此示例项目创建了状态机,即支持 AWS 资源,并配置相关IAM权限。浏览此示例项目,了解如何跑步 EMR Serverless 作业使用 Step Functions 状态机,或者将其用作自己项目的起点。

重要

EMR Serverless 没有免费定价套餐。运行示例项目将产生成本。您可以在上找到定价信息 Amazon EMR Serverless 定价页面。

此外,可用性 EMR Serverless 服务集成视可用性而定 EMR Serverless APIs。因此,此示例项目可能无法正常运行或在某些版本中可用 AWS 区域。 有关可用性的信息,请参阅其他注意事项主题 EMR Serverless in AWS 区域.

AWS CloudFormation 模板和其他资源

你用 CloudFormation 用于部署此示例项目的模板。此模板在您的中创建了以下资源 AWS 账户:

  • A Step Functions 状态机。

  • 状态机的执行角色。此角色授予您的状态机访问其他状态机所需的权限 AWS 服务 以及诸如 EMR Serverless CreateApplication行动。

  • 的 Job 执行角色 EMR Serverless。 此角色授予的权限是 EMR Serverless job run 可以假设它何时代表您调用其他服务。

第 1 步:创建状态机

  1. 打开 Step Functions 控制台,然后选择创建状态机

  2. EMR Serverless在搜索框中键入,然后选择 Run an EMR Serverless 从返回的搜索结果中找工作。

  3. 选择下一步以继续。

  4. 选择 “运行演示” 以创建只读和 ready-to-deploy 工作流程,或者选择 “在其上构建” 以创建可编辑的状态机定义,您可以在此基础上构建并稍后部署。

    该示例项目部署了以下资源:

    • A Step Functions 状态机

    • 相关 AWS Identity and Access Management (IAM) 角色

    下图显示了 Run an 的工作流程图 EMR Serverless 作业样本项目:

    Run an 的工作流程图 EMR Serverless 作业样本项目。
  5. 选择使用模板继续进行选择。

后续步骤取决于您之前的选择:

  1. 运行演示 — 您可以先查看状态机,然后再使用部署的资源创建只读项目 AWS CloudFormation 给你的 AWS 账户.

    您可以查看状态机定义,准备就绪后,选择部署并运行以部署项目并创建资源。

    部署最多可能需要 10 分钟才能创建资源和权限。您可以使用堆栈 ID 链接来监控进度 AWS CloudFormation.

    部署完成后,您应该会在控制台中看到您的新状态机。

  2. 在此基础上再接再厉 — 您可以查看和编辑工作流程定义。在尝试运行自定义工作流程之前,您可能需要为示例项目中的占位符设置值。

注意

部署到您的账户的服务可能会收取标准费用。

第 2 步:运行状态机

  1. 状态机页面上,选择您的示例项目。

  2. 在示例项目页面上,选择启动执行

  3. 启动执行对话框中,执行以下操作:

    1. (可选)输入自定义执行名称以覆盖生成的默认值。

      非ASCII姓名和日志

      Step Functions 接受状态机、执行、活动和包含非ASCII字符的标签的名称。由于此类字符不适用于亚马逊 CloudWatch,因此我们建议您仅使用ASCII字符,以便您可以跟踪中的指标 CloudWatch。

    2. (可选)在输入框中,将输入值输入为JSON。如果您正在运行演示,则可以跳过此步骤。

    3. 选择启动执行

    Step Functions 控制台将引导您进入执行详情页面,您可以在图表视图中选择状态以浏览步骤详细信息窗格中的相关信息。