Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Jelajahi arsitektur MWAA jaringan Amazon
Bagian berikut menjelaskan komponen utama yang membentuk MWAA lingkungan Amazon, dan kumpulan AWS layanan yang diintegrasikan oleh setiap lingkungan untuk mengelola sumber dayanya, menjaga data Anda tetap aman, dan menyediakan pemantauan dan visibilitas untuk alur kerja Anda.
MWAAKomponen Amazon
MWAALingkungan Amazon terdiri dari empat komponen utama berikut:
-
Scheduler — Mem-parsing dan memantau semua tugas AndaDAGs, dan mengantri untuk dieksekusi ketika DAG dependensi terpenuhi. Amazon MWAA menerapkan penjadwal sebagai AWS Fargate cluster dengan minimal 2 penjadwal. Anda dapat meningkatkan jumlah penjadwal hingga lima, tergantung pada beban kerja Anda. Untuk informasi selengkapnya tentang kelas MWAA lingkungan Amazon, lihat kelas MWAA lingkungan Amazon.
-
Pekerja — Satu atau lebih tugas Fargate yang menjalankan tugas terjadwal Anda. Jumlah pekerja untuk lingkungan Anda ditentukan oleh rentang antara jumlah minimum dan maksimum yang Anda tentukan. Amazon MWAA memulai auto-scaling pekerja ketika jumlah tugas yang diantrian dan berjalan lebih dari yang dapat ditangani oleh pekerja Anda yang ada. Saat menjalankan dan mengantri tugas berjumlah nol selama lebih dari dua menit, Amazon MWAA menskalakan kembali jumlah pekerja ke minimum. Untuk informasi selengkapnya tentang cara Amazon MWAA menangani pekerja auto-scaling, lihat Penskalaan otomatis Amazon MWAA.
-
Server web - Menjalankan UI web Apache Airflow. Anda dapat mengkonfigurasi server web dengan akses jaringan pribadi atau publik. Dalam kedua kasus tersebut, akses ke pengguna Apache Airflow Anda dikendalikan oleh kebijakan kontrol akses yang Anda tentukan di AWS Identity and Access Management ()IAM. Untuk informasi selengkapnya tentang mengonfigurasi kebijakan IAM akses untuk lingkungan Anda, lihat Mengakses lingkungan Amazon MWAA.
-
Database - Menyimpan metadata tentang lingkungan Apache Airflow dan alur kerja Anda, termasuk riwayat proses. DAG Basis data adalah database Aurora Postgre SQL penyewa tunggal yang dikelola oleh AWS, dan dapat diakses oleh kontainer Fargate Scheduler dan Pekerja melalui titik akhir Amazon yang diamankan secara pribadi. VPC
Setiap MWAA lingkungan Amazon juga berinteraksi dengan serangkaian AWS layanan untuk menangani berbagai tugas, termasuk menyimpan dan mengakses DAGs dan dependensi tugas, mengamankan data Anda saat istirahat, dan mencatat dan memantau lingkungan Anda. Diagram berikut menunjukkan berbagai komponen MWAA lingkungan Amazon.
catatan
Layanan Amazon VPC tidak dibagikanVPC. Amazon MWAA menciptakan AWS milik VPC untuk setiap lingkungan yang Anda buat.
-
Amazon S3 — Amazon MWAA menyimpan semua sumber daya alur kerja Anda, seperti persyaratanDAGs, dan file plugin di bucket Amazon S3. Untuk informasi selengkapnya tentang membuat bucket sebagai bagian dari pembuatan lingkungan, dan mengunggah MWAA sumber daya Amazon, lihat Membuat bucket Amazon S3 untuk MWAA Amazon di Panduan Pengguna MWAAAmazon.
-
Amazon SQS — Amazon MWAA menggunakan Amazon SQS untuk mengantri tugas alur kerja Anda dengan pelaksana Seledri.
-
Amazon ECR - Amazon ECR menampung semua gambar Apache Airflow. Amazon MWAA hanya mendukung gambar Apache Airflow yang AWS dikelola.
-
AWS KMS— Amazon MWAA menggunakan AWS KMS untuk memastikan data Anda aman saat istirahat. Secara default, Amazon MWAA menggunakan AWS KMS kunci AWS terkelola, tetapi Anda dapat mengonfigurasi lingkungan untuk menggunakan kunci yang dikelola pelanggan AWS KMS Anda sendiri. Untuk informasi selengkapnya tentang menggunakan kunci yang dikelola pelanggan Anda sendiri, lihat AWS KMS Kunci yang dikelola pelanggan untuk Enkripsi Data di MWAAPanduan Pengguna Amazon.
-
CloudWatch- Amazon MWAA terintegrasi dengan CloudWatch dan mengirimkan log Apache Airflow dan metrik lingkungan CloudWatch, memungkinkan Anda memantau sumber daya Amazon MWAA dan memecahkan masalah.
Konektivitas
MWAALingkungan Amazon Anda membutuhkan akses ke semua AWS layanan yang terintegrasi dengannya. Peran MWAA eksekusi Amazon mengontrol bagaimana akses diberikan ke Amazon MWAA untuk terhubung ke AWS layanan lain atas nama Anda. Untuk konektivitas jaringan, Anda dapat menyediakan akses internet publik ke Amazon VPC atau membuat VPC titik akhir Amazon. Untuk informasi selengkapnya tentang mengonfigurasi VPC titik akhir Amazon (AWS PrivateLink) untuk lingkungan Anda, lihat Mengelola akses ke titik VPC akhir di Amazon MWAA di Panduan Pengguna Amazon MWAA.
Amazon MWAA menginstal persyaratan pada penjadwal dan pekerja. Jika kebutuhan Anda bersumber dari PyPi.whlfile sebagai plugin khusus untuk lingkungan Anda.
Saat Anda mengonfigurasi Apache Airflow dalam mode pribadi, UI Apache Airflow hanya dapat diakses oleh Amazon Anda melalui titik akhir Amazon. VPC VPC
Untuk informasi selengkapnya tentang jaringan, lihat Jaringan di Panduan MWAA Pengguna Amazon.
