在 中設定 Spark 任務的任務屬性 AWS Glue

提供長度上限為 255 個字元的 UTF-8 字串。

提供最多 2048 個字元的選用描述。

指定 IAM 角色以授權使用執行工作和存取資料存放區所需的資源。如需在 中執行任務之許可的詳細資訊 AWS Glue，請參閱 Glue AWS 的身分和存取管理。

ETL 任務的類型。這是根據您選取的資料來源類型自動設定。

AWS Glue 版本 會決定任務可用的 Apache Spark 和 Python 版本，如下表所述。

ETL 指令碼中的程式碼定義了任務的邏輯。指令碼可在 Python 或 Scala 中編寫。您可以選擇任務執行的指令碼是由 產生 AWS Glue 或由您提供。您可以在 Amazon Simple Storage Service (Amazon S3) 中提供指令碼名稱和位置。請確認路徑中沒有跟指令碼目錄名稱相同的檔案。若要進一步了解如何編寫指令碼，請參閱 AWS Glue 程式設計指南。

可使用以下工作者類型：

AWS Glue 工作者可用的資源是以 DPUs測量。DPU 是相對的處理能力，包含 4 個 vCPU 的運算容量和 16 GB 的記憶體。

我們會根據您執行 ETL 任務所使用的 DPU 數量，以小時費率計費。如需詳細資訊，請參閱 AWS Glue 定價頁面。

對於 1.0 AWS Glue 版或更早版本的任務，當您使用主控台設定任務並指定標準工作者類型時，會設定最大容量，且工作者數量會變成最大容量 - 1 的值。如果您使用 AWS Command Line Interface (AWS CLI) 或 AWS SDK，您可以指定最大容量參數，也可以同時指定工作者類型和工作者數量。

對於 2.0 AWS Glue 版或更新版本的任務，您無法指定最大容量。反之，您必須指定 Worker type (工作者類型) 與 Number of workers (工作者數目)。

對於大多數工作者類型，您必須指定任務時執行所分配的工作者數目。

指定任務執行時 AWS Glue 處理狀態資訊的方式。您可以讓任務書籤記住之前處理過的資料、更新狀態資訊，或是忽略狀態資訊。如需詳細資訊，請參閱使用任務書籤追蹤處理的資料。

指定任務執行是否在由於服務配額而無法立即執行時排入佇列，以便稍後執行。

勾選時，任務執行佇列會針對任務執行啟用。如果未填入，將不會考慮將任務執行排入佇列。

如果此設定不符合任務執行中設定的值，則會使用任務執行欄位中的值。

當您使用 AWS Studio 或 API 設定任務時，您可以指定標準或彈性任務執行類別。您的任務可能具有不同程度的優先順序和時間敏感度。標準執行類別非常適合需要快速的任務啟動和專用資源的時間敏感型工作負載。

彈性執行類別適用於非緊急任務，例如生產前任務、測試和一次性資料載入。使用 3.0 AWS Glue 版或更新版本和 G.1X 或 G.2X 工作者類型的任務支援彈性任務執行。

彈性任務執行基於在任何時間點執行的工作者數目計費。針對執行中的彈性任務執行，可新增或移除工作者數目。計費方式不是簡單的 Max Capacity * Execution Time，每個工作者都會計入任務執行期間的時間。計費為 (Number of DPUs per worker * time each worker ran) 的總和。

如需詳細資訊，請參閱 AWS Studio 中的說明面板，或 任務和 任務執行。

指定 0 到 10 之間的次數，如果任務失敗， AWS Glue 應自動重新啟動任務。達到逾時限制的任務不會重新啟動。

設定執行時間上限 (單位為分鐘)。上限為 7 天或 10，080 分鐘。否則，任務會擲回例外狀況。

當值保留空白時，逾時預設為 2880 分鐘。

逾時值大於 7 天的任何現有 AWS Glue 任務將預設為 7 天。例如，如果您為批次任務指定了 20 天的逾時，則會在第 7 天停止。

選擇 VPC 組態以存取位於虛擬私有雲端 (VPC) 中的 Amazon S3 資料來源。您可以在 中建立和管理網路連線 AWS Glue。如需詳細資訊，請參閱連線至資料。