Memutakhirkan versi Apache Airflow - Amazon Managed Workflows for Apache Airflow (MWAA)
Tingkatkan sumber daya alur kerja AndaTentukan versi baru

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memutakhirkan versi Apache Airflow

Amazon MWAA mendukung peningkatan versi minor. Ini berarti Anda dapat meningkatkan lingkungan Anda dari versi x.4.z kex.5.z. Untuk melakukan upgrade versi utama, misalnya dari versi 1.y.z ke2.y.z, Anda harus membuat lingkungan baru dan memigrasikan sumber daya Anda. Untuk informasi selengkapnya tentang memutakhirkan ke versi utama Apache Airflow yang baru, lihat Migrasi ke lingkungan Amazon MWAA baru di Panduan Migrasi Amazon MWAA.

Selama proses upgrade, Amazon MWAA menangkap snapshot metadata lingkungan Anda, meningkatkan pekerja, penjadwal, server web ke versi Apache Airflow yang baru, dan akhirnya mengembalikan database metadata menggunakan snapshot.

catatan

Anda tidak dapat menurunkan versi Apache Airflow untuk lingkungan Anda.

Sebelum Anda meningkatkan, pastikan bahwa DAG dan sumber daya alur kerja lainnya kompatibel dengan versi Apache Airflow baru yang Anda tingkatkan. Jika Anda menggunakan a requirements.txt untuk mengelola dependensi, Anda juga harus memastikan dependensi yang Anda tentukan dalam persyaratan Anda kompatibel dengan versi baru.

Tingkatkan sumber daya alur kerja Anda

Setiap kali Anda mengubah versi Apache Airflow, pastikan Anda mereferensikan --constraint URL yang benar di situs Anda. requirements.txt

Awas

Menentukan persyaratan yang tidak kompatibel dengan versi Apache Airflow target Anda selama peningkatan dapat menghasilkan proses rollback yang panjang ke versi Apache Airflow sebelumnya dengan versi persyaratan sebelumnya.

Untuk memigrasikan sumber daya alur kerja

  1. Buat fork aws-mwaa-local-runnerrepositori, dan kloning salinan pelari lokal Amazon MWAA.

  2. Checkout ke cabang aws-mwaa-local-runner repositori yang cocok dengan versi yang Anda upgrade.

  3. Gunakan alat CLI runner lokal Amazon MWAA untuk membuat image Docker dan menjalankan Apache Airflow secara lokal. Untuk informasi selengkapnya, lihat README runner lokal di repositori. GitHub

  4. Untuk memperbaruirequirements.txt, ikuti praktik terbaik yang kami rekomendasikan dalam Mengelola dependensi Python, di Panduan Pengguna Amazon MWAA.

  5. (Opsional) Untuk mempercepat proses upgrade, bersihkan database metadata lingkungan. Lingkungan dengan sejumlah besar metadata dapat memakan waktu lebih lama untuk ditingkatkan.

  6. Setelah berhasil menguji sumber daya alur kerja, salin DAGrequirements.txt, dan plugin ke bucket Amazon S3 lingkungan Anda.

Anda sekarang siap untuk mengedit lingkungan, menentukan versi Apache Airflow baru, dan memulai prosedur pembaruan.

Tentukan versi baru

Setelah Anda selesai memperbarui sumber daya alur kerja Anda untuk memastikan kompatibilitas dengan versi Apache Airflow yang baru, lakukan hal berikut untuk mengedit detail lingkungan dan tentukan versi Apache Airflow yang ingin Anda tingkatkan.

catatan

Saat Anda melakukan pemutakhiran, semua tugas yang saat ini berjalan di lingkungan dihentikan selama prosedur. Prosedur pembaruan dapat memakan waktu hingga dua jam, selama waktu itu lingkungan Anda tidak akan tersedia.

Untuk menentukan versi baru menggunakan konsol

  1. Buka halaman Lingkungan di konsol Amazon MWAA.

  2. Dari daftar Lingkungan, pilih lingkungan yang ingin Anda tingkatkan.

  3. Pada halaman lingkungan, pilih Edit untuk mengedit lingkungan.

  4. Di bagian Detail lingkungan, untuk versi Airflow, pilih nomor versi Apache Airflow baru yang ingin Anda tingkatkan lingkungan dari daftar dropdown.

  5. Pilih Berikutnya sampai Anda berada di halaman Review dan save.

  6. Pada halaman Tinjau dan simpan, tinjau perubahan Anda, lalu pilih Simpan.

Saat Anda menerapkan perubahan, lingkungan Anda memulai prosedur pemutakhiran. Selama periode ini, status lingkungan Anda menunjukkan tindakan apa yang diambil Amazon MWAA, dan apakah prosedurnya berhasil.

Dalam skenario peningkatan yang berhasil, status akan ditampilkanUPDATING, lalu CREATING_SNAPSHOT saat Amazon MWAA menangkap cadangan metadata Anda. Akhirnya, status akan kembali dulu keUPDATING, lalu ke AVAILABLE saat prosedur selesai.

Jika lingkungan gagal ditingkatkan, status lingkungan Anda akan ditampilkanROLLING_BACK. Jika rollback berhasil, status akan ditampilkan terlebih dahuluUPDATE_FAILED, menunjukkan bahwa pembaruan gagal tetapi lingkungan tersedia. Jika rollback gagal, status akan ditampilkanUNAVAILABLE, menunjukkan bahwa Anda tidak dapat mengakses lingkungan.