使用 AWS Step Functions 透過驗證、轉換和分割來協調 ETL 管道 - AWS 方案指引
Summary先決條件和限制架構工具史诗故障診斷相關資源其他資訊

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 AWS Step Functions 透過驗證、轉換和分割來協調 ETL 管道

創建者：桑迪普甘加帕帝伊 (AWS)

代碼存儲庫：aws-step-functions-etl-流水線模式

環境：生產

技術：分析；大數據；資料湖 DevOps；無伺服器

AWS 服務：Amazon Athena；AWS AWS Glue；AWS Lambda；AWS Step Functions

Summary

此模式說明如何建置無伺服器擷取、轉換和載入 (ETL) 管道，以驗證、轉換、壓縮和分割大型 CSV 資料集，以達到效能和成本最佳化。該管道由 AWS Step Functions 協調，包括錯誤處理、自動重試和使用者通知功能。

將 CSV 檔案上傳到 Amazon Simple Storage Service (Amazon S3) 貯體來源資料夾時，ETL 管道會開始執行。管線會驗證來源 CSV 檔案的內容和結構描述，將 CSV 檔案轉換為壓縮的 Apache Parquet 格式，依年、月和日分割資料集，並將其儲存在分析工具的獨立資料夾中以供處理。

自動化此模式的程式碼可在 GitHub具有 AWS Step Functions 儲存庫的 ETL 管道中取得。

先決條件和限制

先決條件

  • 作用中的 AWS 帳戶

  • 使用 AWS 帳戶安裝和設定 AWS Command Line Interface (AWS CLI) (AWS CLI)，以便您可以透過部署 AWS CloudFormation 堆疊來建立 AWS 資源。建議使用 AWS CLI 第 2 版。如需安裝指示，請參閱 AWS CLI 文件中的安裝、更新和解除安裝 AWS CLI 第 2 版。如需 AWS CLI 組態指示，請參閱 AWS CLI 文件中的組態和登入資料檔案設定。

  • Amazon S3 儲存貯體。

  • 具有正確結構描述的 CSV 資料集。(此模式隨附的程式碼存放庫提供範例 CSV 檔案，其中包含您可以使用的正確結構描述和資料類型。)

  • 支援與 AWS 管理主控台搭配使用的網頁瀏覽器。請參閱支援的瀏覽器清單。)

  • AWS Glue 主控台存取權。

  • AWS Step Functions 主控台存取。

限制

  • 在 AWS Step Functions 中，保留歷程記錄的最大限制為 90 天。如需詳細資訊，請參閱 AWS Step Functions 文件中的標準工作流程的配額和配額。

產品版本

  • Python 3.11 適用於 AWS Lambda

  • AWS AWS Glue 2.0 版

架構

從 S3 來源儲存貯體到 Step Functions、AWS Glue 和 Amazon SNS 的 ETL 程序，只需 10 個步驟即可完成。

圖中所示的工作流程包含下列高階步驟：

  1. 使用者將 CSV 檔案上傳到 Amazon S3 中的來源資料夾。

  2. Amazon S3 通知事件會啟動 AWS Lambda 函數，以啟動 Step Functions 數狀態機器。

  3. Lambda 函數會驗證原始 CSV 檔案的結構描述和資料類型。

  4. 根據驗證結果：

    1. 如果來源檔案驗證成功，檔案會移至 stage 資料夾以供進一步處理。

    2. 如果驗證失敗，檔案會移至錯誤資料夾，並透過 Amazon 簡單通知服務 (Amazon SNS) 傳送錯誤通知。

  5. AWS Glue 爬行者程式會從 Amazon S3 中的階段資料夾建立原始檔案的結構描述。

  6. AWS Glue 任務會將原始檔案轉換、壓縮和分割成實木複合地板格式。

  7. AWS Glue 任務也會將檔案移至 Amazon S3 中的轉換資料夾。

  8. AWS Glue 爬行者程式會從轉換後的檔案建立結構描述。產生的結構描述可供任何分析工作使用。您也可以使用 Amazon Athena 執行臨時查詢。

  9. 如果配管完成時沒有發生錯誤，則結構描述檔案會移至封存資料夾。如果遇到任何錯誤，則會將檔案移至錯誤資料夾。

  10. Amazon SNS 會根據管道完成狀態傳送通知，指出成功或失敗。

此模式中使用的所有 AWS 資源都是無伺服器的。沒有要管理的伺服器。

工具

AWS 服務

  • AWS Glue — AWS Glue 是全受管 ETL 服務，可讓客戶輕鬆準備和載入資料以進行分析。

  • AWS 步驟函數 — AWS Step Functions 是一種無伺服器協調服務，可讓您結合 AWS Lambda 函數和其他 AWS 服務來建立關鍵業務應用程式。透過 AWS Step Functions 圖形主控台，您可以將應用程式的工作流程視為一系列事件驅動的步驟。

  • Amazon S3 — Amazon Simple Storage Service (Amazon S3) 是一種物件儲存服務，提供業界領先的可擴展性、資料可用性、安全性和效能。

  • Amazon SNS — Amazon Simple Notification Service (Amazon SNS) 是一種高可用性、耐用、安全且全受管的 Pub/sub 簡訊服務，可讓您分離微型服務、分散式系統和無伺服器應用程式。

  • AWS Lambda — AWS Lambda 是一種運算服務，可讓您執行程式碼，而無需佈建或管理伺服器。AWS Lambda 只有在需要時才會執行程式碼，可自動從每天數項請求擴展成每秒數千項請求。

Code

此模式的程式碼可在 GitHub具有 AWS Step Functions 儲存庫的 ETL 管道中取得。代碼存儲庫包含以下文件和文件夾：

  • template.yml— 使用 AWS 步驟函數建立 ETL 管道的 AWS CloudFormation 範本。

  • parameter.json— 包含所有參數和參數值。您可以更新此檔案以變更參數值，如 Epics 一節中所述。

  • myLayer/python資料夾 — 包含為此專案建立所需 AWS Lambda 層所需的 Python 套件。

  • lambda資料夾 — 包含下列 Lambda 函數：

    • move_file.py— 將來源資料集移至封存、轉換或錯誤資料夾。

    • check_crawler.py— 在傳送失敗訊息之前，根據RETRYLIMIT 環境變數設定的次數，檢查 AWS Glue 爬行程式的狀態。

    • start_crawler.py— 啟動 AWS Glue 爬蟲程式。

    • start_step_function.py— 啟動 AWS Step Functions。

    • start_codebuild.py— 啟動 AWS CodeBuild 專案。

    • validation.py— 驗證輸入原始資料集。

    • s3object.py— 在 S3 儲存貯體內建立所需的目錄結構。

    • notification.py— 在管道結束時傳送成功或錯誤通知。

若要使用範例程式碼，請依照 Epics 一節中的指示操作。

史诗

任務描述所需技能

複製範例程式碼儲存庫。

  1. 使用 AWS Step Functions 存放庫開啟 ETL 管道。

  2. 在檔案清單上方的主儲存庫頁面上選擇「程式碼」，然後複製「使用 HTTPS 複製」下列出的 URL。

  3. 將工作目錄變更為要儲存範例檔案的位置。

  4. 在終端機或命令提示字元中，輸入命令：

    git clone <repoURL>

    其中<repoURL>指的是您在步驟 2 中複製的 URL。

開發人員

更新參數值。

在存放庫的本機副本中，編輯parameter.json檔案並更新預設參數值，如下所示：

  • pS3BucketName─ 用於存放資料集的 S3 儲存貯體名稱。範本會為您建立此值區。儲存貯體名稱必須是全域唯一的。

  • pSourceFolder─ S3 儲存貯體內將用來上傳來源 CSV 檔案的資料夾名稱。

  • pStageFolder─ S3 儲存貯體內的資料夾名稱，此資料夾在程序期間將用作暫存區域。

  • pTransformFolder─ S3 儲存貯體內的資料夾名稱，用於存放已轉換和分割的資料集。

  • pErrorFolder─ 如果無法驗證來源 CSV 檔案，將會移至 S3 儲存貯體內的資料夾。

  • pArchiveFolder ─ S3 儲存貯體內將用來存檔來源 CSV 檔案的資料夾名稱。

  • pEmailforNotification─ 用於接收成功/錯誤通知的有效電子郵件地址。

  • pPrefix─ 將在 AWS Glue 編目程式名稱中使用的前置字串。

  • pDatasetSchema─ 將驗證來源檔案的資料集結構描述。地獄犬 Python 包用於源數據集驗證。如需詳細資訊，請參閱地獄犬網站。

開發人員

將原始程式碼上傳至 S3 儲存貯體。

在部署自動化 ETL 管道的 CloudFormation 範本之前，您必須先封裝 CloudFormation 範本的來源檔案，並將它們上傳到 S3 儲存貯體。若要這麼做，請使用預先設定的設定檔執行下列 AWS CLI 命令：

aws cloudformation package --template-file template.yml --s3-bucket <bucket_name> --output-template-file packaged.template --profile <profile_name>

其中：

  • <bucket_name>是您要在其中部署堆疊的 AWS 區域中現有 S3 儲存貯體的名稱。此存儲桶用於存儲 CloudFormation 模板的源代碼包。

  • <profile_name>是您在設定 AWS CLI 時預先設定的有效 AWS CLI 設定檔。

開發人員
任務描述所需技能

部署 CloudFormation 範本。

若要部署 CloudFormation 範本，請執行下列 AWS CLI 命令：

aws cloudformation deploy --stack-name <stack_name> --template-file packaged.template --parameter-overrides file://parameter.json --capabilities CAPABILITY_IAM --profile <profile_name>

其中：

  • <stack_name>是 CloudFormation 堆疊的唯一識別碼。

  • <profile-name>是您預先設定的 AWS CLI 設定檔。

開發人員

檢查進度。

在 AWS 主 CloudFormation 控台上，檢查堆疊開發的進度。當狀態為時CREATE_COMPLETE，堆疊已成功部署。

開發人員

請記下 AWS Glue 資料庫名稱。

堆疊的 [輸出] 索引標籤會顯示 AWS Glue 資料庫的名稱。金鑰名稱為GlueDBOutput。

開發人員
任務描述所需技能

啟動 ETL 管線。

  1. 導覽至 S3 儲存貯體內的來源資料夾 (source或您在parameter.json檔案中設定的資料夾名稱)。

  2. 將範例 CSV 檔案上傳至此資料夾。（代碼存儲庫提供了一個名為的示例文件Sample_Bank_Transaction_Raw_Dataset.csv，您可以使用它。） 上傳文件將通過 Step Functions 啟動 ETL 管道。

  3. 在 Step Functions 主控台上，檢查 ETL 管線狀態。

開發人員

檢查已分割的資料集。

當 ETL 管道完成時，請確認分區資料集可在 Amazon S3 轉換資料夾 (transform或您在parameter.json檔案中設定的資料夾名稱) 中使用。

開發人員

檢查已分割的 AWS Glue 資料庫。

  1. 在 AWS Glue 主控台上，選取堆疊建立的 AWS Glue 資料庫 (這是您在上一篇史詩中記下的資料庫)。

  2. 確認 AWS Glue 資料型錄中是否提供分區資料表。

開發人員

執行查詢。

(選擇性) 使用 Amazon Athena 在分區和轉換的資料庫上執行臨機操作查詢。如需指示，請參閱 AWS 文件中的使用 Amazon Athena 執行 SQL 查詢。

数据库分析

故障診斷

問題解決方案

適用於 AWS Glue 任務和爬蟲的 AWS Identity and Access Management (IAM) 許可

如果您進一步自訂 AWS Glue 任務或爬蟲程式，請務必在 AWS Glue 任務使用的 IAM 角色中授予適當的 IAM 許可，或向 AWS Lake Formation 提供資料許可。如需詳細資訊，請參閱 AWS 文件。

相關資源

AWS 服務文件

其他資訊

下圖顯示 Step Functions Inspector 面板中成功 ETL 管道的 AWS 步驟函數工作流程。

驗證輸入 .csv、檢索資料和執行 AWS Glue 任務的 Step Functions 數工作流程。

下圖顯示由於輸入驗證錯誤而失敗的 ETL 管道的 AWS Step Functions 數工作流程，從「步驟函數 Inspector」面板。

Step Functions 工作流失敗，以便文件移動到錯誤文件夾。