View a markdown version of this page

Pemrosesan Data Berbasis SQL di Amazon ECS - Pemrosesan Data Berbasis SQL di Amazon ECS
Pemrosesan Data Berbasis SQL di Amazon ECSSumber bacaan lebih lanjutSejarah diagram

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pemrosesan Data Berbasis SQL di Amazon ECS

Tanggal publikasi: 8 Maret 2021 (Sejarah diagram)

Arsitektur ini menunjukkan cara membangun alternatif extract-transform-load (ETL) yang digerakkan oleh konfigurasi dan tanpa kode menggunakan kerangka kerja ETL kontainer (ARC) yang menyederhanakan dan mempercepat pemrosesan data. https://arc.tripl.ai/ Apache Spark Anda menjalankan kerangka kerja di Amazon Elastic Container Service dengan AWS Fargate.

Pemrosesan Data Berbasis SQL di Amazon ECS

Diagram arsitektur yang menunjukkan pemrosesan SQL-based data menggunakan Amazon Elastic Container Service, AWS Fargate, AWS Lambda, Amazon Simple Storage Service, dan Amazon CloudWatch.

Langkah-langkah berikut menjelaskan arsitektur:

  1. Seorang pengguna membuat pipeline data ETL berdasarkan kerangka kerja ARC dan skrip SQL dalam Notebook Jupyter ARC interaktif. Notebook berjalan di Amazon ECS dengan AWS Fargate.

  2. Pekerjaan notebook dan ETL memproses data batch dan streaming melalui AWS PrivateLink. Lalu lintas antara proses ETL dan penyimpanan data tidak meninggalkan jaringan Amazon.

  3. Notebook ARC Jupyter menghasilkan file JSON konfigurasi alur pekerjaan. Pengguna mengunggah file dan skrip SQL ke Amazon Simple Storage Service melalui proses pener CI/CD apan otomatis atau secara manual.

  4. Peristiwa kedatangan file Amazon S3 memicu AWS Lambda fungsi.

  5. Fungsi Lambda memutar tugas Amazon ECS untuk memproses data batch dengan cara sementara, atau untuk memproses data aliran secara terus menerus dalam wadah yang berjalan lama. Setiap pekerjaan menggunakan sumber daya komputasi terisolasi.

  6. Amazon Ev CloudWatch ents menjadwalkan dan mengatur pekerjaan ARC ETL reguler dan tugas Amazon ECS dengan jenis peluncuran AWS Fargate atau Amazon EC2.

  7. Pekerjaan ARC ETL menghasilkan log aplikasi untuk setiap tahap pemrosesan data pada tingkat granular. CloudWatch menyediakan kemampuan pemantauan dan peringatan.

Sumber bacaan lebih lanjut

Untuk informasi tambahan, lihat sumber daya berikut:

Sejarah diagram

Untuk diberitahu tentang pembaruan diagram arsitektur referensi ini, berlangganan umpan RSS.

PerubahanDeskripsiTanggal

Publikasi awal

Diagram arsitektur referensi pertama kali diterbitkan.

8 Maret 2021

catatan

Untuk berlangganan pembaruan RSS, Anda harus mengaktifkan plugin RSS untuk browser yang Anda gunakan.