使用垂直自动扩展功能处理 Amazon EMR Spark 任务 - Amazon EMR

使用垂直自动扩展功能处理 Amazon EMR Spark 任务

Amazon EMR on EKS 会自动调整内存和 CPU 资源,从而适应您为 Amazon EMR Spark 应用程序工作负载提供的需求。此功能可简化资源管理工作。

为了跟踪 Amazon EMR Spark 应用程序的实时和历史资源利用率,垂直自动扩展功能会利用 Kubernetes Vertical Pod Autoscaler(VPA)。垂直自动扩展功能使用 VPA 收集的数据来自动调整分配给 Spark 应用程序的内存和 CPU 资源。这种简化流程既能提高可靠性,又能优化成本。