Amazon MWAA pertanyaan yang sering diajukan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Halaman ini menjelaskan pertanyaan umum yang mungkin Anda temui saat menggunakan Alur Kerja Terkelola Amazon untuk Apache Airflow.

Versi yang didukung

Apa dukungan Amazon MWAA untuk Apache Airflow v2?

Untuk mempelajari apa yang didukung Amazon MWAA, lihat. Versi Apache Airflow di Amazon Managed Workflow untuk Apache Airflow

Mengapa Apache Airflow versi lama tidak didukung?

Kami hanya mendukung versi Apache Airflow terbaru (pada saat peluncuran) Apache Airflow v1.10.12 karena masalah keamanan dengan versi yang lebih lama.

Versi Python apa yang harus saya gunakan?

Versi Apache Airflow berikut didukung di Alur Kerja Terkelola Amazon untuk Apache Airflow.

Untuk informasi selengkapnya tentang memigrasi penerapan Apache Airflow yang dikelola sendiri, atau memigrasikan lingkungan Amazon MWAA yang ada, termasuk petunjuk untuk mencadangkan database metadata Anda, lihat Panduan Migrasi Amazon MWAA.

Versi pip apa yang digunakan Amazon MWAA?

Untuk lingkungan yang menjalankan Apache Airflow v1.10.12, Amazon pip MWAA menginstal versi 21.1.2.

Untuk lingkungan yang menjalankan Apache Airflow v2 dan yang lebih baru, Amazon MWAA menginstal versi 21.3.1. pip

Kasus penggunaan

Kapan saya harus menggunakan AWS Step Functions vs. Amazon MWAA?

Spesifikasi lingkungan

Berapa banyak penyimpanan tugas yang tersedia untuk setiap lingkungan?

Penyimpanan tugas dibatasi hingga 20 GB, dan ditentukan oleh Amazon ECS Fargate 1.4. Jumlah RAM ditentukan oleh kelas lingkungan yang Anda tentukan. Untuk informasi selengkapnya tentang kelas lingkungan, lihatMengkonfigurasi kelas lingkungan Amazon MWAA.

Apa sistem operasi default yang digunakan untuk lingkungan Amazon MWAA?

Lingkungan Amazon MWAA dibuat pada instans yang menjalankan Amazon Linux 2 untuk versi 2.6 dan yang lebih lama, dan pada instans yang menjalankan Amazon Linux 2023 untuk versi 2.7 dan yang lebih baru.

Dapatkah saya menggunakan gambar khusus untuk lingkungan Amazon MWAA saya?

Gambar kustom tidak didukung. Amazon MWAA menggunakan gambar yang dibangun di Amazon Linux AMI. Amazon MWAA menginstal persyaratan tambahan dengan menjalankan pip3 -r install persyaratan yang ditentukan dalam file requirements.txt yang Anda tambahkan ke bucket Amazon S3 untuk lingkungan.

Apakah Amazon MWAA HIPAA sesuai?

Amazon MWAA memenuhi syarat Undang-Undang Portabilitas dan Akuntabilitas Asuransi Kesehatan (HIPAA). Jika Anda memiliki Adendum Rekanan Bisnis HIPAA (BAA) AWS, Anda dapat menggunakan Amazon MWAA untuk alur kerja yang menangani Informasi Kesehatan Terlindungi (PHI) pada lingkungan yang dibuat pada, atau setelah, 14 November 2022.

Apakah Amazon MWAA mendukung Instans Spot?

Amazon MWAA saat ini tidak mendukung jenis Instans Spot EC2 Amazon sesuai permintaan untuk Apache Airflow. Namun, lingkungan Amazon MWAA dapat memicu Instans Spot di, misalnya, Amazon EMR dan Amazon. EC2

Apakah Amazon MWAA mendukung domain khusus?

Untuk dapat menggunakan domain khusus untuk nama host Amazon MWAA Anda, lakukan salah satu hal berikut:

Bisakah saya SSH ke lingkungan saya?

Meskipun SSH tidak didukung di lingkungan Amazon MWAA, dimungkinkan untuk menggunakan DAG untuk menjalankan perintah bash menggunakan file. BashOperator Sebagai contoh:

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago
with DAG(dag_id="any_bash_command_dag", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
      cli_command = BashOperator(
          task_id="bash_command",
          bash_command="{{ dag_run.conf['command'] }}"
      )

Untuk memicu DAG di Apache Airflow UI, gunakan:

{ "command" : "your bash command"}

Mengapa aturan referensi mandiri diperlukan pada grup keamanan VPC?

Dengan membuat aturan referensi diri, Anda membatasi sumber ke grup keamanan yang sama di VPC, dan itu tidak terbuka untuk semua jaringan. Untuk mempelajari selengkapnya, lihat Keamanan di VPC Anda di Amazon MWAA.

Dapatkah saya menyembunyikan lingkungan dari grup yang berbeda di IAM?

Anda dapat membatasi akses dengan menentukan nama lingkungan AWS Identity and Access Management, namun, pemfilteran visibilitas tidak tersedia di AWS konsol—jika pengguna dapat melihat satu lingkungan, mereka dapat melihat semua lingkungan.

Dapatkah saya menyimpan data sementara pada Apache Airflow Worker?

Operator Aliran Udara Apache Anda dapat menyimpan data sementara pada Pekerja. Apache Airflow Workers dapat mengakses file sementara /tmp di wadah Fargate untuk lingkungan Anda.

Dapatkah saya menentukan lebih dari 25 Apache Airflow Workers?

Ya. Meskipun Anda dapat menentukan hingga 25 pekerja Apache Airflow di konsol Amazon MWAA, Anda dapat mengonfigurasi hingga 50 pada lingkungan dengan meminta peningkatan kuota. Untuk informasi selengkapnya, lihat Meminta peningkatan kuota.

Apakah Amazon MWAA mendukung Amazon bersama VPCs atau subnet bersama?

Amazon MWAA tidak mendukung Amazon bersama VPCs atau subnet bersama. VPC Amazon yang Anda pilih saat membuat lingkungan harus dimiliki oleh akun yang mencoba menciptakan lingkungan. Namun, Anda dapat merutekan lalu lintas dari VPC Amazon di akun Amazon MWAA ke VPC bersama. Untuk informasi selengkapnya, dan untuk melihat contoh perutean lalu lintas ke VPC Amazon bersama, lihat Perutean keluar terpusat ke internet di Panduan Gateway Transit VPC Amazon.

Dapatkah saya membuat atau mengintegrasikan antrian Amazon SQS khusus untuk mengelola eksekusi tugas dan orkestrasi alur kerja di Apache Airflow?

Tidak, Anda tidak dapat membuat, memodifikasi, atau menggunakan antrian Amazon SQS khusus dalam Amazon MWAA. Ini karena Amazon MWAA secara otomatis menyediakan dan mengelola antrian Amazon SQS sendiri untuk setiap lingkungan Amazon MWAA.

Metrik

Metrik apa yang digunakan untuk menentukan apakah akan menskalakan Pekerja?

Amazon MWAA memantau QueuedTasksdan RunningTasksmasuk CloudWatch untuk menentukan apakah akan menskalakan Pekerja Aliran Udara Apache di lingkungan Anda. Untuk mempelajari selengkapnya, lihat Pemantauan dan metrik untuk Alur Kerja Terkelola Amazon untuk Apache Airflow.

Bisakah saya membuat metrik khusus? CloudWatch

Tidak di CloudWatch konsol. Namun, Anda dapat membuat DAG yang menulis metrik khusus. CloudWatch Untuk informasi selengkapnya, lihat Menggunakan DAG untuk menulis metrik khusus di CloudWatch.

DAGs, Operator, Koneksi, dan pertanyaan lainnya

Dapatkah saya menggunakanPythonVirtualenvOperator?

PythonVirtualenvOperatorIni tidak didukung secara eksplisit di Amazon MWAA, tetapi Anda dapat membuat plugin khusus yang menggunakan. PythonVirtualenvOperator Untuk kode sampel, lihat Membuat plugin khusus untuk Apache Airflow PythonVirtualenvOperator.

Berapa lama waktu yang dibutuhkan Amazon MWAA untuk mengenali file DAG baru?

DAGs disinkronkan secara berkala dari bucket Amazon S3 ke lingkungan Anda. Jika Anda menambahkan file DAG baru, dibutuhkan sekitar 300 detik bagi Amazon MWAA untuk mulai menggunakan file baru. Jika Anda memperbarui DAG yang ada, Amazon MWAA membutuhkan waktu sekitar 30 detik untuk mengenali pembaruan Anda.

Nilai-nilai ini, 300 detik untuk yang baru DAGs, dan 30 detik untuk pembaruan yang ada DAGs, sesuai dengan opsi konfigurasi Apache Airflow dag_dir_list_interval, dan min_file_process_intervalmasing-masing.

Mengapa file DAG saya tidak diambil oleh Apache Airflow?

Berikut ini adalah solusi yang mungkin untuk masalah ini:

Bisakah saya menghapus plugins.zip atau requirements.txt dari lingkungan?

Saat ini, tidak ada cara untuk menghapus plugins.zip atau requirements.txt dari lingkungan setelah ditambahkan, tetapi kami sedang mengerjakan masalah ini. Untuk sementara, solusinya adalah menunjuk ke teks kosong atau file zip, masing-masing. Untuk mempelajari selengkapnya, lihat Menghapus file di Amazon S3.

Mengapa saya tidak melihat plugin saya di menu Plugin Admin Apache Airflow v2.0.2?

Untuk alasan keamanan, server Web Apache Airflow di Amazon MWAA memiliki jalan keluar jaringan terbatas, dan tidak menginstal plugin atau dependensi Python langsung di server web Apache Airflow untuk lingkungan versi 2.0.2. Plugin yang ditampilkan memungkinkan Amazon MWAA untuk mengautentikasi pengguna Apache Airflow Anda di (IAM). AWS Identity and Access Management

Untuk dapat menginstal plugin dan dependensi Python langsung di server web, kami sarankan membuat environemnt baru dengan Apache Airflow v2.2 dan di atasnya. Amazon MWAA menginstal dependensi Python dan dan plugin khusus langsung di server web untuk Apache Airflow v2.2 dan di atasnya.

Dapatkah saya menggunakan Operator AWS Database Migration Service (DMS)?

Amazon MWAA mendukung Operator DMS. Namun, operator ini tidak dapat digunakan untuk melakukan tindakan pada database metadata Amazon Aurora PostgreSQL yang terkait dengan lingkungan Amazon MWAA.

Ketika saya mengakses Airflow REST API menggunakan AWS kredensialnya, dapatkah saya meningkatkan batas pelambatan menjadi lebih dari 10 transaksi per detik (TPS)?

Ya, Anda bisa. Untuk meningkatkan batas throttling, silakan hubungi Customer AWS Support.