View a markdown version of this page

Apa itu Alur Kerja Terkelola Amazon untuk Apache Airflow? - Amazon Managed Workflows for Apache Airflow
FiturArsitekturIntegrasiVersi yang didukungApa selanjutnya?

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Apa itu Alur Kerja Terkelola Amazon untuk Apache Airflow?

Gunakan Amazon Managed Workflow untuk Apache Airflow, layanan terkelola untuk Apache Airflow, untuk menyiapkan dan menjalankan pipeline data di cloud dalam skala besar. Apache Airflow adalah alat sumber terbuka yang digunakan untuk membuat, menjadwalkan, dan memantau alur kerja.

Dengan Amazon MWAA, Anda dapat menggunakan Apache Airflow dan Python untuk membuat alur kerja tanpa mengelola infrastruktur untuk skalabilitas, ketersediaan, dan keamanan. Amazon MWAA secara otomatis menskalakan untuk memenuhi kebutuhan alur kerja Anda. Ini terintegrasi dengan layanan AWS keamanan untuk menyediakan akses cepat dan aman ke data Anda.

Fitur

Tinjau fitur-fitur berikut untuk mempelajari bagaimana Amazon MWAA dapat menyederhanakan pengelolaan alur kerja Apache Airflow Anda.

  • Pengaturan Aliran Udara Otomatis — Siapkan Apache Airflow dengan cepat dengan memilih versi Apache Airflow saat Anda membuat lingkungan Amazon MWAA. Amazon MWAA menyiapkan Apache Airflow untuk Anda menggunakan antarmuka pengguna Apache Airflow yang sama dan kode sumber terbuka yang tersedia di internet.

  • Penskalaan otomatis — Secara otomatis menskalakan pekerja Apache Airflow (sumber daya komputasi yang menjalankan tugas Anda) dengan menetapkan batas minimum dan maksimum. Amazon MWAA memantau pekerja di lingkungan Anda dan menggunakan komponen penskalaan otomatis untuk menambahkan pekerja untuk memenuhi permintaan, hingga jumlah maksimum yang Anda tentukan.

  • Built-in otentikasi — Aktifkan otentikasi dan otorisasi berbasis peran untuk server web Apache Airflow Anda dengan menentukan kebijakan kontrol akses di AWS Identity and Access Management (IAM). Pekerja Apache Airflow mengasumsikan kebijakan ini untuk akses aman ke AWS layanan.

  • Built-in keamanan - Pekerja dan penjadwal Apache Airflow berjalan di Amazon VPC Amazon MWAA. Data juga secara otomatis dienkripsi menggunakan AWS Key Management Service, sehingga lingkungan Anda aman secara default.

  • Mode akses publik atau pribadi — Akses server web Apache Airflow Anda menggunakan mode Mode akses Apache Airflow akses pribadi, atau publik. Mode akses jaringan publik menggunakan titik akhir VPC untuk server web Apache Airflow Anda yang dapat diakses melalui internet. Mode akses jaringan pribadi menggunakan titik akhir VPC untuk server web Apache Airflow Anda yang dapat diakses di VPC Anda. Dalam kedua kasus tersebut, akses untuk pengguna Apache Airflow Anda dikendalikan oleh kebijakan kontrol akses yang Anda tetapkan di AWS Identity and Access Management (IAM), dan AWS SSO.

  • Upgrade dan patch yang efisien — Amazon MWAA menyediakan versi baru Apache Airflow secara berkala. Tim Amazon MWAA akan memperbarui dan menambal gambar untuk versi ini.

  • Pemantauan alur kerja — akses log Ap ache Airflow dan metrik Apache Airflow di Amazon CloudWatch untuk mengidentifikasi penundaan tugas Apache Airflow atau kesalahan alur kerja tanpa memerlukan alat pihak ketiga tambahan. Amazon MWAA secara otomatis mengirimkan metrik lingkungan—dan jika diaktifkan—log Apache Airflow ke. CloudWatch

  • AWS integrasi — Amazon MWAA mendukung integrasi sumber terbuka dengan Amazon Athena,, Amazon AWS Batch, Amazon DynamoDB CloudWatch,, Amazon EMR, AWS DataSync, Amazon EKS AWS Fargate, Amazon Data Firehose,,, Amazon Redshift AWS Glue, Amazon SQS AWS Lambda, Amazon SNS, Amazon SageMaker AI, dan Amazon S3, serta ratusan operator dan sensor bawaan dan buatan komunitas.

  • Armada pekerja — Amazon MWAA menawarkan dukungan untuk menggunakan kontainer untuk menskalakan armada pekerja sesuai permintaan dan mengurangi pemadaman penjadwal menggunakan Amazon ECS aktif. AWS Fargate Operator yang memanggil tugas pada wadah Amazon ECS, dan operator Kubernetes yang membuat dan menjalankan pod di cluster Kubernetes didukung.

Arsitektur

Semua komponen yang terkandung dalam kotak luar (pada gambar berikut) ditampilkan sebagai lingkungan Amazon MWAA tunggal di akun Anda. Penjadwal dan pekerja Apache Airflow adalah AWS Fargate wadah yang terhubung ke subnet pribadi di Amazon VPC untuk lingkungan Anda. Setiap lingkungan memiliki metadatabase Apache Airflow sendiri yang dikelola oleh AWS yang dapat diakses oleh penjadwal dan pekerja kontainer Fargate melalui titik akhir VPC yang diamankan secara pribadi.

Amazon CloudWatch, Amazon S3, Amazon SQS, dan AWS KMS terpisah dari Amazon MWAA dan harus dapat diakses dari penjadwal Apache Airflow dan pekerja di wadah Fargate. Beberapa penjadwal Apache Airflow hanya tersedia dengan Apache Airflow v2 dan yang lebih baru. Pelajari lebih lanjut tentang siklus hidup tugas Apache Airflow di Konsep dalam panduan referensi Apache Airflow.

Webserver Apache Airflow dapat diakses baik melalui internet dengan memilih mode akses Apache Airflow jaringan publik, atau dalam VPC Anda dengan memilih mode akses Apache Airflow jaringan pribadi. Dalam kedua kasus tersebut, akses untuk pengguna Apache Airflow Anda dikendalikan oleh kebijakan kontrol akses yang Anda tetapkan di AWS Identity and Access Management (IAM).

catatan

Dimulai dengan Apache Airflow v3, server web Amazon MWAA juga menghosting server API eksekusi Apache Airflow.

Arsitektur lingkungan Amazon MWAA.

Integrasi

Komunitas open-source Apache Airflow yang aktif dan berkembang menyediakan operator (plugin yang menyederhanakan koneksi ke layanan) untuk Apache Airflow untuk diintegrasikan dengan AWS layanan. Ini termasuk layanan seperti Amazon S3, Amazon Redshift, Amazon EMR AWS Batch, dan Amazon SageMaker AI, serta layanan di platform cloud lainnya.

Menggunakan Apache Airflow dengan Amazon MWAA sepenuhnya mendukung integrasi dengan AWS layanan dan alat pihak ketiga populer seperti Apache Hadoop, Presto, Hive, dan Spark untuk melakukan tugas pemrosesan data. Amazon MWAA berkomitmen untuk menjaga kompatibilitas dengan Apache Airflow API, dan Amazon MWAA bermaksud untuk menyediakan integrasi yang andal ke AWS layanan dan membuatnya tersedia untuk komunitas, dan terlibat dalam pengembangan fitur komunitas.

Untuk kode sampel, lihatContoh kode untuk Alur Kerja Terkelola Amazon untuk Apache Airflow.

Versi yang didukung

Amazon MWAA mendukung beberapa versi Apache Airflow. Untuk informasi selengkapnya tentang versi Apache Airflow yang kami dukung dan komponen Apache Airflow yang disertakan dengan setiap versi, lihatVersi Apache Airflow di Amazon Managed Workflows for Apache Airflow.

Apa selanjutnya?