使用 Amazon EMR 集群扩展来适应不断变化的工作负载
您可以自动或手动调整对 Amazon EMR 集群可用的 Amazon EC2 实例的数目，以满足各种工作负载的不同需求。要使用自动扩展，您有两个选项。您可以启用 Amazon EMR 托管扩展或创建自定义自动扩展策略。下表介绍了两个选项之间的区别。
| Amazon EMR 托管扩展 | 自定义自动扩展 | |
|---|---|---|
|
扩展策略和规则 |
无需策略。Amazon EMR 通过持续评估集群指标并做出优化的扩展决策来管理自动扩缩活动。 |
您需要定义和管理自动伸缩策略和规则，如触发扩缩活动的特定条件、评估期、冷却时间等。 |
|
支持的 Amazon EMR 发行版 |
Amazon EMR 版本 5.30.0 及更高版本（Amazon EMR 版本 6.0.0 除外） |
Amazon EMR 版本 4.0.0 及更高版本 |
|
支持的集群构成 |
实例组或实例队列 |
仅实例组 |
| 扩展限制配置 |
为整个集群配置扩展限制。 |
只能为每个实例组配置扩展限制。 |
|
指标评估频率 |
每 5 到 10 秒一次 更频繁地评估指标使 Amazon EMR 能够做出更精确的扩展决策。 |
您只能以五分钟的增量定义评估期。 |
|
受支持的应用程序 |
只支持 YARN 应用程序，如 Spark、Hadoop、Hive、Flink。Amazon EMR 托管扩展不支持不基于 YARN 的应用程序，例如 Presto 或 HBase。 |
在定义自动扩展规则时，您可以选择支持哪些应用程序。 |
注意事项
-
一个 Amazon EMR 集群始终由一个或三个主节点组成。首次配置集群后，您只能扩展核心节点和任务节点，而无法扩展集群的主节点数量。
-
对于实例组，重新配置操作和大小调整操作是依次进行的，而不是同时进行的。如果您在调整实例组大小时发起重新配置，则实例组完成正在进行的大小调整后，将会立即开始重新配置。如果您在实例组重新配置时启动调整大小操作，则会按相反的顺序操作。
