本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
使用 Amazon EMR叢集擴展來調整不斷變化的工作負載
您可以自動或手動調整 Amazon EMR叢集可用的 Amazon EC2執行個體數量,以回應具有不同需求的工作負載。若要使用自動擴展,您可以選擇兩個方法進行。您可以啟用 Amazon EMR受管擴展或建立自訂自動擴展政策。下表說明這兩個選項之間的差異。
Amazon EMR受管擴展 | 自訂自動擴展 | |
---|---|---|
擴展政策和規則 |
無任何必要政策。Amazon 會透過持續評估叢集指標並做出最佳化的擴展決策來EMR管理自動擴展活動。 |
您需要定義和管理自動擴展政策和規則,例如可觸發擴展活動、評估期間、冷卻期間等特定條件。 |
支援的 Amazon EMR版本 |
Amazon 5.30.0 EMR版及更新版本 (Amazon 6.0.0 EMR版除外) |
Amazon 4.0.0 版及更新EMR版本 |
支援的叢集組成 |
執行個體群組或執行個體機群 |
限執行個體群組 |
擴展限制設定 |
可對整個叢集設定擴展限制。 |
只能對個別執行個體群組設定擴展限制。 |
指標評估頻率 |
每 5 秒至 10 秒一次 更頻繁的指標評估可讓 Amazon EMR做出更精確的擴展決策。 |
評估期間的增量限定為五分鐘。 |
支援的應用程式 |
僅支援YARN應用程式,例如 Spark、Hadoop、Hive、Flink。Amazon EMR受管擴展不支援非以 為基礎的應用程式YARN,例如 Presto 或 HBase。 |
在定義自動擴展規則時,您可以選擇支援哪些應用程式。 |
考量事項
-
Amazon EMR叢集一律包含一個或三個主要節點。初始設定叢集之後,只能擴展核心節點和任務節點。無法擴展叢集的主節點數量。
-
對於執行個體群組,重新設定操作和調整大小操作會連續出現,但不會同時出現。如果在執行個體群組正調整大小時啟動重新設定,則重新設定會在執行個體群組完成正在進行的調整大小後啟動。反之,如果在執行個體群組進行重新設定時啟動調整大小操作,亦是如此。