Mengonfigurasi kelas MWAA lingkungan Amazon

Kelas lingkungan yang Anda pilih untuk MWAA lingkungan Amazon menentukan ukuran AWS Fargate container AWS-managed tempat Celery Executor berjalan, dan database SQL metadata Amazon AWS Aurora Postgre yang dikelola tempat penjadwal Apache Airflow membuat instance tugas. Topik ini menjelaskan setiap kelas MWAA lingkungan Amazon, dan cara memperbarui kelas lingkungan di MWAA konsol Amazon.

Kemampuan lingkungan

Bagian berikut berisi tugas default Apache Airflow bersamaan, Random Access Memory (RAM), dan unit pemrosesan terpusat virtual (vCPUs) untuk setiap kelas lingkungan. Tugas bersamaan yang tercantum mengasumsikan bahwa konkurensi tugas tidak melebihi kapasitas Apache Airflow Worker di lingkungan.

Dalam tabel berikut, DAG kapasitas mengacu pada DAG definisi, bukan eksekusi, dan mengasumsikan bahwa Anda DAGs dinamis dalam satu file Python dan ditulis dengan praktik terbaik Apache Airflow.

Eksekusi tugas bergantung pada berapa banyak yang dijadwalkan secara bersamaan, dan mengasumsikan bahwa DAG jumlah proses yang ditetapkan untuk memulai pada saat yang sama tidak melebihi default max_dagruns_per_loop_to_schedule, serta ukuran dan jumlah pekerja sebagaimana dirinci dalam topik ini.

Anda dapat menggunakan celery.worker_autoscale untuk meningkatkan tugas per pekerja. Untuk informasi selengkapnya, lihat Contoh kasus penggunaan kinerja tinggi.

Penjadwal Aliran Udara Apache

Bagian berikut berisi opsi penjadwal Apache Airflow yang tersedia di AmazonMWAA, dan bagaimana jumlah penjadwal memengaruhi jumlah pemicu.

Di Apache Airflow, pemicu mengelola tugas-tugas yang ditunda sampai kondisi tertentu yang ditentukan menggunakan pemicu telah terpenuhi. Di AmazonMWAA, pemicu berjalan bersama penjadwal pada tugas Fargate yang sama. Meningkatkan jumlah penjadwal juga meningkatkan jumlah pemicu yang tersedia, mengoptimalkan cara lingkungan mengelola tugas yang ditangguhkan. Ini memastikan penanganan tugas yang efisien, segera menjadwalkannya untuk dijalankan ketika kondisi terpenuhi.