翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
ダウンストリーム分析によるデータレイクの取り込みと処理
このアーキテクチャは、ダウンストリーム分析を使用してデータレイク内のデータ処理パイプラインをモニタリングする方法を示しています。関連するログ、メトリクス、イベントを発行して、異常な動作を検出し、傾向をほぼリアルタイムで視覚化できます。
ダウンストリーム分析によるデータレイクの取り込みと処理
次の手順では、アーキテクチャについて説明します。
-
データレイク内のデータ処理パイプラインはデータを生成します。このステップでは、任意の数のソースパイプラインを生成できます。
-
データパイプラインコンポーネントは、関連するログ、メトリクス、またはイベントを Amazon CloudWatch に発行します。
-
AWS Lambda 関数は CloudWatch からデータを取得し、事前処理されたデータを Amazon Kinesis Data Streams にプッシュします。
-
Kinesis データストリームは、ほぼリアルタイムのストリーミングデータ用の中央ストレージです。
-
Amazon Kinesis Data Analytics は、データをほぼリアルタイムで分析し、集約されたメトリクスを Amazon Timestream データベースに保存して、さらに分析します。Kinesis Data Analytics クエリは、パイプライン内のデータの異常な動作を検出することもできます。
-
Amazon Timestream は時系列分析をサポートし、時系列をネイティブデータ型として定義します。高度な集計、ウィンドウ関数、配列や行などの複雑なデータ型をサポートしています。
-
Amazon Kinesis Data Analytics のしきい値クエリは、ほぼリアルタイムの分析を Lambda に送信します。
-
Kinesis Data Analytics から処理されたデータに基づいて、Lambda 関数は Amazon Simple Notification Service を使用してリアルタイムアラートを送信できます。
-
Amazon Quick Sight ダッシュボードは、成功したパイプラインの数、エラー率、エラータイプの分布などの傾向を視覚化します。
詳細情報
詳細については、次のリソースを参照してください。
図の履歴
このリファレンスアーキテクチャ図の更新について通知を受け取るには、RSS フィードをサブスクライブします。
| 変更 | 説明 | 日付 |
|---|---|---|
リファレンスアーキテクチャ図が最初に公開されました。 | 2021 年 7 月 15 日 | |
初版発行 | リファレンスアーキテクチャ図が最初に公開されました。 | 2021 年 7 月 15 日 |
注記
RSS 更新をサブスクライブするには、使用しているブラウザで RSS プラグインが有効になっている必要があります。
