本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
使用下游分析擷取和處理資料湖
此架構說明如何使用下游分析監控資料湖內的資料處理管道。您可以發佈相關日誌、指標和事件,以近乎即時地偵測異常行為並視覺化趨勢。
使用下游分析擷取和處理資料湖
下列步驟說明 架構:
-
資料湖內的資料處理管道會產生資料。在此步驟中,可以產生任意數量的來源管道。
-
資料管道元件會將相關日誌、指標或事件發佈至 Amazon CloudWatch。
-
AWS Lambda 函數會從 CloudWatch 擷取資料,並將預先處理的資料推送至 Amazon Kinesis Data Streams。
-
Kinesis 資料串流是近乎即時串流資料的中央儲存體。
-
Amazon Kinesis Data Analytics 會近乎即時地分析資料,並將彙總指標儲存至 Amazon Timestream 資料庫以進行進一步分析。Kinesis Data Analytics 查詢也可以偵測管道中資料的異常行為。
-
Amazon Timestream 支援時間序列分析,並將時間序列定義為原生資料類型。它支援進階彙總、視窗函數和複雜的資料類型,例如陣列和資料列。
-
Amazon Kinesis Data Analytics 閾值查詢會將近乎即時的分析傳送至 Lambda。
-
根據 Kinesis Data Analytics 處理的資料,Lambda 函數可以使用 Amazon Simple Notification Service 傳送即時提醒。
-
Amazon Quick Sight 儀表板可視覺化趨勢,例如成功的管道數量、錯誤率、錯誤類型分佈等。
深入閱讀
如需詳細資訊,請參閱下列資源:
圖表歷史記錄
若要收到此參考架構圖的更新通知,請訂閱 RSS 摘要。
| 變更 | 描述 | 日期 |
|---|---|---|
首先發佈參考架構圖。 | 2021 年 7 月 15 日 | |
初次出版 | 首先發佈參考架構圖。 | 2021 年 7 月 15 日 |
注意
若要訂閱 RSS 更新,您必須為正在使用的瀏覽器啟用 RSS 外掛程式。