了解應用程式行為 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

了解應用程式行為

預設應用程式行為

自動啟動 — 預設情況下,應用程式設定為在提交任務時自動啟動。您可以關閉此功能。

自動停止 — 預設情況下,應用程式設定為在閒置 15 分鐘時自動停止。當應用程式變更為 STOPPED 狀態時,它會釋出任何設定的預先初始化容量。您可以修改應用程式自動停止之前的閒置時間,也可以關閉此功能。

容量上限

您可以設定應用程式可以擴展到的最大容量。您可以指定容量上限,例如 CPU、記憶體 (GB) 和磁碟 (GB)。

注意

我們建議您將最大容量設定為與支援的工作者體型成比例,方法是將工作者數量乘以其體型。例如,如果您想要將應用程式限制為 50 名工作者vCPUs,記憶體為 2、記憶體為 16 GB,磁碟為 20 GB,請將最大容量設定為 100vCPUs、記憶體為 800 GB,磁碟為 1000 GB。

支援的工作者組態

下表顯示您可以為無EMR伺服器指定的支援工作者組態和大小。您可以根據工作負載的需求,為驅動程式和執行程式設定不同的大小。

CPU 記憶體 預設暫時性儲存

1 vCPU

最小 2 GB,最大 8 GB,以 1 GB 為增減單位

20 GB - 200 GB

2 vCPU

最小 4 GB,最大 16 GB,以 1 GB 為增減單位

20 GB - 200 GB

4 vCPU

最小 8 GB,最大 30 GB,以 1 GB 為增減單位

20 GB - 200 GB

8 vCPU

最小 16 GB,最大 60 GB,以 4 GB 為增量單位

20 GB - 200 GB

16 vCPU

最小 32 GB,最大 120 GB,以 8 GB 為增減單位

20 GB - 200 GB

CPU — 每個工作者可以有 1、2、4、8 或 16 個vCPUs。

記憶體 — 每個工作者都有記憶體,以 GB 為單位,在先前資料表中列出的限制內。Spark 任務具有記憶體負荷,這表示其使用的記憶體超過指定的容器大小。此額外負荷是以 屬性 spark.driver.memoryOverhead和 指定spark.executor.memoryOverhead。額外負荷的預設值為容器記憶體的 10%,最小值為 384 MB。當您選擇工作者規模時,應考慮此額外負荷。

例如,如果您vCPUs 為工作者執行個體選擇 4,且預先初始化的儲存容量為 30 GB,則您應該為 Spark 任務將 值設定為大約 27 GB 作為執行器記憶體。這可最大限度地提高預先初始化容量的使用率。可用的記憶體為 27 GB,加上 27 GB (2.7 GB) 的 10%,總計為 29.7 GB。

磁碟:您可以使用最小大小為 20 GB 且最大大小為 200 GB 的暫存儲存磁碟來設定每個工作者。您只需為超過 20 GB 的額外儲存支付每位工作者設定的費用。