View a markdown version of this page

Amazon ECS 中的 SQL 型資料處理 - Amazon ECS 中的 SQL 型資料處理
Amazon ECS 中的 SQL 型資料處理深入閱讀圖表歷史記錄

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon ECS 中的 SQL 型資料處理

發佈日期：2021 年 3 月 8 日 (圖表歷史記錄)

此架構示範如何使用容器化 ETL 架構 (ARC) 來建置組態驅動的無碼extract-transform-load(ETL) 替代方案，該架構可簡化和加速使用 的資料處理Apache Spark。您使用 AWS Fargate 在 Amazon Elastic Container Service 上執行架構。

Amazon ECS 中的 SQL 型資料處理

架構圖顯示使用 Amazon Elastic Container Service、AWS Fargate AWS Lambda、Amazon Simple Storage Service 和 Amazon CloudWatch 的 SQL 型資料處理。

下列步驟說明 架構：

  1. 使用者會根據互動式 ARC Jupyter 筆記本中的 ARC 架構和 SQL 指令碼建立 ETL 資料管道。筆記本使用 AWS Fargate 在 Amazon ECS 上執行。

  2. 筆記本和 ETL 任務會透過 AWS PrivateLink 處理批次和串流資料。ETL 程序與資料存放區之間的流量不會離開 Amazon 網路。

  3. ARC Jupyter 筆記本會產生任務流程組態 JSON 檔案。使用者透過 CI/CD 自動化部署程序或手動將檔案和 SQL 指令碼上傳至 Amazon Simple Storage Service。

  4. Amazon S3 檔案到達事件會觸發 AWS Lambda函數。

  5. Lambda 函數會啟動 Amazon ECS 任務，以暫時方式處理批次資料，或在長時間執行的容器中持續處理串流資料。每個任務都使用隔離的運算資源。

  6. Amazon CloudWatch Events 會使用 AWS Fargate 或 Amazon EC2 啟動類型來排程和協調一般 ARC ETL 任務和 Amazon ECS 任務。

  7. ARC ETL 任務會精細地為每個資料處理階段產生應用程式日誌。CloudWatch 提供監控和提醒功能。

深入閱讀

如需詳細資訊，請參閱下列資源：

圖表歷史記錄

若要收到此參考架構圖的更新通知，請訂閱 RSS 摘要。

變更描述日期

初次出版

首先發佈參考架構圖。

2021 年 3 月 8 日

注意

若要訂閱 RSS 更新，您必須為正在使用的瀏覽器啟用 RSS 外掛程式。