选择您的 Cookie 首选项

我们使用必要 Cookie 和类似工具提供我们的网站和服务。我们使用性能 Cookie 收集匿名统计数据,以便我们可以了解客户如何使用我们的网站并进行改进。必要 Cookie 无法停用,但您可以单击“自定义”或“拒绝”来拒绝性能 Cookie。

如果您同意,AWS 和经批准的第三方还将使用 Cookie 提供有用的网站功能、记住您的首选项并显示相关内容,包括相关广告。要接受或拒绝所有非必要 Cookie,请单击“接受”或“拒绝”。要做出更详细的选择,请单击“自定义”。

将工作提交到 Amazon EMR on EKS 虚拟集群时会发生什么

聚焦模式
将工作提交到 Amazon EMR on EKS 虚拟集群时会发生什么 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 Kubernetes 命名空间在 Amazon EKS 上注册 Amazon EMR,以此创建虚拟集群。然后,Amazon EMR 可以在该命名空间上运行分析工作负载。当您使用 Amazon EMR on EKS 将 Spark 提交提交到虚拟集群时,Amazon EMR on EKS 会请求 Amazon EKS 上的 Kubernetes 计划程序来安排 Pod。

以下步骤和图说明了 Amazon EMR on EKS 工作流:

  • 使用现有的 Amazon EKS 集群,或通过使用 eksctl 命令行实用程序或 Amazon EKS 控制台来创建 Amazon EKS 集群。

  • 通过在 EKS 集群上使用命名空间注册 Amazon EMR 来创建虚拟集群。

  • 使用 AWS CLI 或 SDK 将您的任务提交到虚拟集群。

Amazon EMR on EKS 任务

对于您运行的每个任务,Amazon EMR on EKS 会创建包含 Amazon Linux 2 基础镜像、Apache Spark 和相关依赖项的容器。每个任务都在下载容器的 Pod 中运行,并开始运行 Pod。任务终止后,Pod 也会终止。如果容器的镜像之前已部署到节点,则会使用缓存镜像并绕过下载。日志或指标转发服务器等 Sidecar 容器可部署到 Pod 中。任务终止后,您仍可以使用 Amazon EMR 控制台中的 Spark 应用程序 UI 对其进行调试。

隐私网站条款Cookie 首选项
© 2025, Amazon Web Services, Inc. 或其附属公司。保留所有权利。