Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Mengelola Sisipan dan Upserts di Danau Data Tanpa Server
Tanggal publikasi: Juni 15, 2021 (Sejarah diagram)
Arsitektur ini menunjukkan cara menggunakan Apache Hudi berjalan di Amazon EMR untuk memproses sisipan dan pembaruan ke kumpulan data di Amazon Simple Storage Service. Anda dapat membangun data lake yang hemat biaya dan dapat diskalakan yang menyediakan analitik sesuai permintaan dan menciptakan data mart yang persisten.
Mengelola Sisipan dan Upserts di Danau Data Tanpa Server
Langkah-langkah berikut menjelaskan arsitektur:
-
Menelan data dari sistem sumber menggunakan batch, ubah pengambilan data (CDC), atau streaming ke lapisan mentah di Amazon S3.
-
Setelah data tetap ada di danau data mentah di Amazon S3, perayapi data dan isi di Katalog Data AWS Glue menggunakan perayap.
-
Tarik data mentah ke dalam cluster Amazon EMR dan baca menggunakan Hive dan Spark untuk pembersihan dan transformasi.
-
Apache Hudiberjalan di Amazon EMR membaca data menggunakan API Spark dan melakukan penyisipan dan peningkatan pada kumpulan data yang diperlukan.
-
Pertahankan data yang telah dibersihkan dan diubah kembali ke bucket Amazon S3 yang diproses dan dapat dilaporkan.
-
Konsumsi data yang dapat dilaporkan sesuai permintaan menggunakan Athena atau muat ke Amazon Redshift. Pengguna, alat, dan sumber daya yang berbeda dapat menggunakan data ini.
-
Tangani pergerakan data lengkap, putar cluster Amazon EMR sesuai permintaan untuk data batch, dan muat data menggunakan orkestrasi alur kerja dengan Amazon Managed Workflow for Apache Airflow (MWAA).
Sumber bacaan lebih lanjut
Untuk informasi tambahan, lihat sumber daya berikut:
Sejarah diagram
Untuk diberitahu tentang pembaruan diagram arsitektur referensi ini, berlangganan umpan RSS.
| Perubahan | Deskripsi | Tanggal |
|---|---|---|
Publikasi awal | Diagram arsitektur referensi pertama kali diterbitkan. | 15 Juni 2021 |
catatan
Untuk berlangganan pembaruan RSS, Anda harus mengaktifkan plugin RSS untuk browser yang Anda gunakan.
