翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
# サーバーレスデータレイクでの挿入とアップサートの管理
公開日: **2021 年 6 月 15 日 ([図の履歴](#diagram-history))**
このアーキテクチャは、Amazon EMR でApache Hudi実行されている を使用して、[Amazon Simple Storage Service](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) のデータセットへの挿入と更新を処理する方法を示しています。オンデマンド分析をプロビジョニングし、永続的なデータマートを作成する、費用対効果が高くスケーラブルなデータレイクを構築できます。
## サーバーレスデータレイクでの挿入とアップサートの管理
次の手順では、アーキテクチャについて説明します。
1. バッチ、変更データキャプチャ (CDC)、または Amazon S3 の raw レイヤーへのストリーミングを使用して、ソースシステムからデータを取り込みます。
1. Amazon S3 の raw データレイクにデータが保持されたら、データをクロールし、クローラーを使用して [AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/what-is-glue.html) データカタログに入力します。
1. raw データを Amazon EMR クラスターにプルし、Hive と Spark を使用して読み取り、クリーニングと変換を行います。
1. Apache Hudi Amazon EMR で を実行すると、Spark APIs を使用してデータが読み取り、必要なデータセットの挿入とアップサートが実行されます。
1. クリーンアップおよび変換されたデータを Amazon S3 で処理および報告可能なバケットに保持します。
1. [Athena](https://docs.aws.amazon.com/athena/latest/ug/what-is.html) を使用してレポート対象データをオンデマンドで消費するか、[Amazon Redshift](https://docs.aws.amazon.com/redshift/latest/dg/welcome.html) にロードします。さまざまなユーザー、ツール、リソースがこのデータを消費できます。
1. 完全なデータ移動を処理し、バッチデータ用にオンデマンド Amazon EMR クラスターをスピンし、Amazon Managed Workflows for Apache Airflow (MWAA) によるワークフローオーケストレーションを使用してデータをロードします。
## 詳細情報
詳細については、次のリソースを参照してください。
+ [AWS アーキテクチャアイコン](https://aws.amazon.com/architecture/icons)
+ [AWS アーキテクチャセンター](https://aws.amazon.com/architecture)
+ [AWS Well-Architected](https://aws.amazon.com/architecture/well-architected)
## 図の履歴
このリファレンスアーキテクチャ図の更新について通知を受け取るには、RSS フィードにサブスクライブします。
| 変更 | 説明 | 日付 |
| --- |--- |--- |
| [初版発行](#diagram-history) | リファレンスアーキテクチャ図が最初に公開されました。 | 2021 年 6 月 15 日 |
**注記**
RSS 更新をサブスクライブするには、使用しているブラウザで RSS プラグインが有効になっている必要があります。