在 AWS Glue 中從藍圖建立工作流程 - AWS Glue

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

在 AWS Glue 中從藍圖建立工作流程

您可以手動建立 AWS Glue 工作流程，一次新增一個元件，或者您可以從 AWS Glue 藍圖建立工作流程。AWS Glue 包含常見使用案例的藍圖。您的 AWS Glue 開發人員可以建立額外的藍圖。

重要

將工作流程中的任務、爬蟲程式和觸發程序總數限制在 100 或更少。如果包含超過 100 個，則嘗試繼續或停止工作流程執行時可能會出現錯誤。

使用藍圖時，您可以根據藍圖定義的一般使用案例，快速產生特定使用案例的工作流程。您可以透過為藍圖參數提供值來定義特定的使用案例。例如，對資料集進行分割的藍圖可以將 Amazon S3 來源和目標路徑做為參數。

AWS Glue 透過執行藍圖，從藍圖建立工作流程。藍圖執行會儲存您提供的參數值，並用於追蹤建立工作流程及其元件的進度和結果。疑難排解工作流程時，您可以檢視藍圖執行以決定用於建立工作流程的藍圖參數值。

若要建立和檢視工作流程，您需要特定 IAM 許可。如需建議的 IAM 政策，請參閱 藍圖的資料分析師許可。

您可以使用 AWS Glue 主控台、AWS Glue API 或 AWS Command Line Interface (AWS CLI) 來從藍圖建立工作流程。

從藍圖建立工作流程 (主控台)

  1. 開啟位於 https://console.aws.amazon.com/glue/ 的 AWS Glue 主控台。

    以具有建立工作流程許可的使用者身分登入。

  2. 在導覽窗格中，選擇 blueprints (藍圖)。

  3. 選取藍圖，然後在 Actions (動作) 選單，選擇 Create workflow (建立工作流程)。

  4. 在 Create a workflow from <blueprint-name> (從 <藍圖名稱> 建立工作流程) 頁面上，輸入下列資訊：

    藍圖參數

    這些因藍圖設計而異。如需這些參數的相關問題資訊，請聯絡開發人員。藍圖通常包含工作流程名稱的參數。

    IAM 角色

    AWS Glue 擔任之用來建立工作流程及其元件的角色。此角色必須擁有建立和刪除工作流程、任務、爬蟲程式和觸發的許可。如需角色的建議政策，請參閱藍圖角色的許可。

  5. 選擇 Submit (提交)。

    Blueprint Details (藍圖詳細資訊) 頁面出現，並在底部顯示藍圖執行清單。

  6. 在藍圖執行清單中，檢查最上層的藍圖執行以取得工作流程建立狀態。

    起始狀態為 RUNNING。選擇重新整理按鈕，直到狀態變為 SUCCEEDED 或 FAILED。

  7. 執行下列任意一項：

    • 如果完成狀態為 SUCCEEDED，您可以移至 Workflows (工作流程) 頁面，選取新建立的工作流程，然後執行它。在執行工作流程之前，您可以先檢閱設計圖形。

    • 如果狀態為 FAILED，請選取藍圖執行，然後在 Actions (動作) 功能表，選擇 View (檢視) 以查看錯誤訊息。

如需工作流程和藍圖的詳細資訊，請參閱下列主題。