创建短暂的 Amazon EMR 集群并使用运行步骤 AWS SDK - AWS SDK代码示例

AWS 文档 AWS SDK示例 GitHub 存储库中还有更多SDK示例。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

创建短暂的 Amazon EMR 集群并使用运行步骤 AWS SDK

以下代码示例说明如何创建一个短暂的 Amazon EMR 集群，该集群运行一个步骤并在步骤完成后自动终止。

Python
SDK适用于 Python (Boto3)

创建一个短暂的 Amazon EMR 集群，使用 Apache Spark 估计 pi 的值，以并行化大量计算。该任务将输出写入亚马逊EMR日志和亚马逊简单存储服务 (Amazon S3) 存储桶。该集群将在完成该任务后自行终止。

  • 创建 Amazon S3 桶并上传任务脚本。

  • 创建 AWS Identity and Access Management (IAM) 角色。

  • 创建亚马逊弹性计算云 (AmazonEC2) 安全组。

  • 创建一个短期集群并运行单个任务步骤。

最好在上查看此示例 GitHub。有关如何设置和运行的完整源代码和说明，请参阅上的完整示例GitHub。

本示例中使用的服务

  • Amazon EMR