View a markdown version of this page

使用下游分析擷取和處理資料湖 - Serverless Analytics 的可追蹤性

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用下游分析擷取和處理資料湖

此架構說明如何使用下游分析監控資料湖內的資料處理管道。您可以發佈相關日誌、指標和事件,以近乎即時地偵測異常行為並視覺化趨勢。

使用下游分析擷取和處理資料湖

顯示使用 Amazon CloudWatch、Amazon Kinesis Data Streams、Amazon Kinesis Data Analytics 和 Amazon Quick Sight 進行資料湖下游分析的架構圖。

下列步驟說明 架構:

  1. 資料湖內的資料處理管道會產生資料。在此步驟中,可以產生任意數量的來源管道。

  2. 資料管道元件會將相關日誌、指標或事件發佈至 Amazon CloudWatch

  3. AWS Lambda 函數會從 CloudWatch 擷取資料,並將預先處理的資料推送至 Amazon Kinesis Data Streams

  4. Kinesis 資料串流是近乎即時串流資料的中央儲存體。

  5. Amazon Kinesis Data Analytics 會近乎即時地分析資料,並將彙總指標儲存至 Amazon Timestream 資料庫以進行進一步分析。Kinesis Data Analytics 查詢也可以偵測管道中資料的異常行為。

  6. Amazon Timestream 支援時間序列分析,並將時間序列定義為原生資料類型。它支援進階彙總、視窗函數和複雜的資料類型,例如陣列和資料列。

  7. Amazon Kinesis Data Analytics 閾值查詢會將近乎即時的分析傳送至 Lambda。

  8. 根據 Kinesis Data Analytics 處理的資料,Lambda 函數可以使用 Amazon Simple Notification Service 傳送即時提醒。

  9. Amazon Quick Sight 儀表板可視覺化趨勢,例如成功的管道數量、錯誤率、錯誤類型分佈等。

深入閱讀

如需詳細資訊,請參閱下列資源:

圖表歷史記錄

若要收到此參考架構圖的更新通知,請訂閱 RSS 摘要。

變更描述日期

初次出版

首先發佈參考架構圖。

2021 年 7 月 15 日

初次出版

首先發佈參考架構圖。

2021 年 7 月 15 日

注意

若要訂閱 RSS 更新,您必須為正在使用的瀏覽器啟用 RSS 外掛程式。