將工作提交至 Amazon EMR叢集 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

將工作提交至 Amazon EMR叢集

本節說明您可以用來將工作提交至 Amazon EMR叢集的方法。若要提交作業,可以新增步驟,或是以互動方式將 Hadoop 作業提交至主節點。

將步驟提交至叢集時,請考慮下列步驟行為規則:

  • 步驟 ID 最多可包含 256 個字元。

  • 叢集中最多可以有 256 個 PENDING和 RUNNING 個步驟。

  • 即使有 256 個作用中步驟在叢集上執行,也可以互動方式將作業提交至主節點。您可以在長時間執行叢集的生命週期內提交不限數量的步驟,但只能有 256 個步驟RUNNING,也可以PENDING在任何指定時間提交。

  • 對於 Amazon 4EMR.8.0 版及更新版本,除了 5.0.0 版之外,您可以取消待處理的步驟。如需詳細資訊,請參閱當您將工作提交至 Amazon EMR叢集時取消步驟

  • 使用 Amazon 5.28.0 版及更新EMR版本,您可以同時取消待處理和執行中的步驟。您也可以選擇同時執行多個步驟,以改善叢集使用率及節省成本。如需詳細資訊,請參閱當您將工作提交至 Amazon 時,同時執行多個步驟的考量事項 EMR

注意

為了獲得最佳效能,建議您將要與 Amazon 搭配使用的自訂引導動作、指令碼和其他檔案存放在與 AWS 區域 叢集相同的 EMR Amazon S3 儲存貯體中。