本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
使用 AWS Step Functions 透過驗證、轉換和分割來協調 ETL 管道
創建者:桑迪普甘加帕帝伊 (AWS)
代碼存儲庫:aws-step-functions-etl-流水線 | 環境:生產 | 技術:分析;大數據;資料湖 DevOps;無伺服器 |
AWS 服務:Amazon Athena;AWS AWS Glue;AWS Lambda;AWS Step Functions |
Summary
此模式說明如何建置無伺服器擷取、轉換和載入 (ETL) 管道,以驗證、轉換、壓縮和分割大型 CSV 資料集,以達到效能和成本最佳化。該管道由 AWS Step Functions 協調,包括錯誤處理、自動重試和使用者通知功能。
將 CSV 檔案上傳到 Amazon Simple Storage Service (Amazon S3) 貯體來源資料夾時,ETL 管道會開始執行。管線會驗證來源 CSV 檔案的內容和結構描述,將 CSV 檔案轉換為壓縮的 Apache Parquet 格式,依年、月和日分割資料集,並將其儲存在分析工具的獨立資料夾中以供處理。
自動化此模式的程式碼可在 GitHub具有 AWS Step Functions 儲存庫的 ETL 管道
先決條件和限制
先決條件
作用中的 AWS 帳戶
使用 AWS 帳戶安裝和設定 AWS Command Line Interface (AWS CLI) (AWS CLI),以便您可以透過部署 AWS CloudFormation 堆疊來建立 AWS 資源。建議使用 AWS CLI 第 2 版。如需安裝指示,請參閱 AWS CLI 文件中的安裝、更新和解除安裝 AWS CLI 第 2 版。如需 AWS CLI 組態指示,請參閱 AWS CLI 文件中的組態和登入資料檔案設定。
Amazon S3 儲存貯體。
具有正確結構描述的 CSV 資料集。(此模式隨附的程式碼存放庫
提供範例 CSV 檔案,其中包含您可以使用的正確結構描述和資料類型。) 支援與 AWS 管理主控台搭配使用的網頁瀏覽器。請參閱支援的瀏覽器清
單。) AWS Glue 主控台存取權。
AWS Step Functions 主控台存取。
限制
產品版本
Python 3.11 適用於 AWS Lambda
AWS AWS Glue 2.0 版
架構
![從 S3 來源儲存貯體到 Step Functions、AWS Glue 和 Amazon SNS 的 ETL 程序,只需 10 個步驟即可完成。](images/pattern-img/8eb792b0-d35b-4a63-ba2d-71eb8d2c1203/images/054c8e9d-76a2-4334-b21a-cbe76af45923.png)
圖中所示的工作流程包含下列高階步驟:
使用者將 CSV 檔案上傳到 Amazon S3 中的來源資料夾。
Amazon S3 通知事件會啟動 AWS Lambda 函數,以啟動 Step Functions 數狀態機器。
Lambda 函數會驗證原始 CSV 檔案的結構描述和資料類型。
根據驗證結果:
如果來源檔案驗證成功,檔案會移至 stage 資料夾以供進一步處理。
如果驗證失敗,檔案會移至錯誤資料夾,並透過 Amazon 簡單通知服務 (Amazon SNS) 傳送錯誤通知。
AWS Glue 爬行者程式會從 Amazon S3 中的階段資料夾建立原始檔案的結構描述。
AWS Glue 任務會將原始檔案轉換、壓縮和分割成實木複合地板格式。
AWS Glue 任務也會將檔案移至 Amazon S3 中的轉換資料夾。
AWS Glue 爬行者程式會從轉換後的檔案建立結構描述。產生的結構描述可供任何分析工作使用。您也可以使用 Amazon Athena 執行臨時查詢。
如果配管完成時沒有發生錯誤,則結構描述檔案會移至封存資料夾。如果遇到任何錯誤,則會將檔案移至錯誤資料夾。
Amazon SNS 會根據管道完成狀態傳送通知,指出成功或失敗。
此模式中使用的所有 AWS 資源都是無伺服器的。沒有要管理的伺服器。
工具
AWS 服務
AWS Glue
— AWS Glue 是全受管 ETL 服務,可讓客戶輕鬆準備和載入資料以進行分析。 AWS 步驟函數
— AWS Step Functions 是一種無伺服器協調服務,可讓您結合 AWS Lambda 函數和其他 AWS 服務來建立關鍵業務應用程式。透過 AWS Step Functions 圖形主控台,您可以將應用程式的工作流程視為一系列事件驅動的步驟。 Amazon S3
— Amazon Simple Storage Service (Amazon S3) 是一種物件儲存服務,提供業界領先的可擴展性、資料可用性、安全性和效能。 Amazon SNS
— Amazon Simple Notification Service (Amazon SNS) 是一種高可用性、耐用、安全且全受管的 Pub/sub 簡訊服務,可讓您分離微型服務、分散式系統和無伺服器應用程式。 AWS Lambda
— AWS Lambda 是一種運算服務,可讓您執行程式碼,而無需佈建或管理伺服器。AWS Lambda 只有在需要時才會執行程式碼,可自動從每天數項請求擴展成每秒數千項請求。
Code
此模式的程式碼可在 GitHub具有 AWS Step Functions 儲存庫的 ETL 管道
template.yml
— 使用 AWS 步驟函數建立 ETL 管道的 AWS CloudFormation 範本。parameter.json
— 包含所有參數和參數值。您可以更新此檔案以變更參數值,如 Epics 一節中所述。myLayer/python
資料夾 — 包含為此專案建立所需 AWS Lambda 層所需的 Python 套件。lambda
資料夾 — 包含下列 Lambda 函數:move_file.py
— 將來源資料集移至封存、轉換或錯誤資料夾。check_crawler.py
— 在傳送失敗訊息之前,根據RETRYLIMIT
環境變數設定的次數,檢查 AWS Glue 爬行程式的狀態。start_crawler.py
— 啟動 AWS Glue 爬蟲程式。start_step_function.py
— 啟動 AWS Step Functions。start_codebuild.py
— 啟動 AWS CodeBuild 專案。validation.py
— 驗證輸入原始資料集。s3object.py
— 在 S3 儲存貯體內建立所需的目錄結構。notification.py
— 在管道結束時傳送成功或錯誤通知。
若要使用範例程式碼,請依照 Epics 一節中的指示操作。
史诗
任務 | 描述 | 所需技能 |
---|---|---|
複製範例程式碼儲存庫。 |
| 開發人員 |
更新參數值。 | 在存放庫的本機副本中,編輯
| 開發人員 |
將原始程式碼上傳至 S3 儲存貯體。 | 在部署自動化 ETL 管道的 CloudFormation 範本之前,您必須先封裝 CloudFormation 範本的來源檔案,並將它們上傳到 S3 儲存貯體。若要這麼做,請使用預先設定的設定檔執行下列 AWS CLI 命令:
其中:
| 開發人員 |
任務 | 描述 | 所需技能 |
---|---|---|
部署 CloudFormation 範本。 | 若要部署 CloudFormation 範本,請執行下列 AWS CLI 命令:
其中:
| 開發人員 |
檢查進度。 | 在 AWS 主 CloudFormation 控台 | 開發人員 |
請記下 AWS Glue 資料庫名稱。 | 堆疊的 [輸出] 索引標籤會顯示 AWS Glue 資料庫的名稱。金鑰名稱為 | 開發人員 |
任務 | 描述 | 所需技能 |
---|---|---|
啟動 ETL 管線。 |
| 開發人員 |
檢查已分割的資料集。 | 當 ETL 管道完成時,請確認分區資料集可在 Amazon S3 轉換資料夾 ( | 開發人員 |
檢查已分割的 AWS Glue 資料庫。 |
| 開發人員 |
執行查詢。 | (選擇性) 使用 Amazon Athena 在分區和轉換的資料庫上執行臨機操作查詢。如需指示,請參閱 AWS 文件中的使用 Amazon Athena 執行 SQL 查詢。 | 数据库分析 |
故障診斷
問題 | 解決方案 |
---|---|
適用於 AWS Glue 任務和爬蟲的 AWS Identity and Access Management (IAM) 許可 | 如果您進一步自訂 AWS Glue 任務或爬蟲程式,請務必在 AWS Glue 任務使用的 IAM 角色中授予適當的 IAM 許可,或向 AWS Lake Formation 提供資料許可。如需詳細資訊,請參閱 AWS 文件。 |
相關資源
AWS 服務文件
其他資訊
下圖顯示 Step Functions Inspector 面板中成功 ETL 管道的 AWS 步驟函數工作流程。
![驗證輸入 .csv、檢索資料和執行 AWS Glue 任務的 Step Functions 數工作流程。](images/pattern-img/8eb792b0-d35b-4a63-ba2d-71eb8d2c1203/images/bd77de7b-4d04-44bb-95d2-3ec4599b3770.png)
下圖顯示由於輸入驗證錯誤而失敗的 ETL 管道的 AWS Step Functions 數工作流程,從「步驟函數 Inspector」面板。
![Step Functions 工作流失敗,以便文件移動到錯誤文件夾。](images/pattern-img/8eb792b0-d35b-4a63-ba2d-71eb8d2c1203/images/5fd7dd79-ba4c-4c20-b1f0-ad4b5f22bdfc.png)