View a markdown version of this page

Manajemen beban kerja - Amazon Redshift

Amazon Redshift tidak akan lagi mendukung penggunaan Python UDF setelah 30 Juni 2026. Kami akan mulai menegakkannya secara bertahap. Untuk informasi lebih lanjut tentang detail opsi akhir masa pakai dan migrasi Python, lihat posting blog yang diterbitkan pada 30 Juni 2025.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Manajemen beban kerja

Anda dapat mengonfigurasi Amazon Redshift WLM untuk dijalankan dengan WLM otomatis atau WLM manual.

Dengan Amazon Redshift, Anda dapat mengelola dan memprioritaskan kueri bersamaan dan beban kerja pengguna untuk mengoptimalkan kinerja dan pemanfaatan sumber daya. Dengan manajemen beban kerja (WLM), Anda dapat menentukan antrian, grup pengguna, dan konstruksi lainnya untuk mengontrol sumber daya yang dialokasikan ke berbagai jenis kueri atau pengguna.

Bagian berikut menguraikan fitur manajemen beban kerja tertentu di Amazon Redshift, dan memandu Anda melalui konfigurasi dan pemantauannya.

WLM otomatis

Untuk memaksimalkan throughput sistem dan menggunakan sumber daya secara efektif, Anda dapat mengaktifkan Amazon Redshift untuk mengelola cara sumber daya dibagi untuk menjalankan kueri bersamaan dengan WLM otomatis. WLM otomatis mengelola sumber daya yang diperlukan untuk menjalankan kueri. Amazon Redshift menentukan berapa banyak kueri yang dijalankan secara bersamaan dan berapa banyak memori yang dialokasikan untuk setiap kueri yang dikirim. Gunakan Auto WLM jika Anda ingin Amazon Redshift mengelola bagaimana sumber daya dibagi untuk menjalankan kueri bersamaan. Untuk informasi selengkapnya, lihat Menerapkan WLM otomatis.

Bekerja dengan penskalaan konkurensi dan WLM otomatis, Anda dapat mendukung pengguna bersamaan dan kueri bersamaan yang hampir tidak terbatas, dengan kinerja kueri yang cepat secara konsisten. Untuk informasi selengkapnya, lihat Penskalaan konkurensi.

catatan

Dalam kebanyakan kasus kami menyarankan Anda menggunakan WLM otomatis. Jika Anda menggunakan WLM manual dan Anda ingin bermigrasi dari ke WLM otomatis, lihat. Migrasi dari WLM manual ke WLM otomatis

Dengan Auto WLM, dimungkinkan untuk menentukan prioritas kueri untuk beban kerja dalam antrian. Untuk informasi selengkapnya tentang prioritas kueri, lihatPrioritas kueri.

WLM manual

Anda mungkin memiliki beberapa sesi atau pengguna yang menjalankan kueri secara bersamaan. Beberapa kueri mungkin mengkonsumsi sumber daya cluster untuk waktu yang lama dan memengaruhi kinerja yang lain. Manual WLM dapat membantu mengelola ini untuk kasus penggunaan khusus. Gunakan Manual WLM ketika Anda ingin lebih banyak kontrol atas konkurensi.

Anda dapat mengelola kinerja sistem dengan memodifikasi konfigurasi WLM untuk membuat antrian terpisah untuk kueri yang berjalan lama dan kueri yang berjalan singkat. Saat runtime, Anda dapat merutekan kueri ke antrian ini sesuai dengan grup pengguna atau grup kueri.

Anda dapat mengatur aturan untuk merutekan kueri ke antrian tertentu berdasarkan pengguna yang menjalankan kueri atau label yang Anda tentukan. Anda juga dapat mengonfigurasi jumlah memori yang dialokasikan untuk setiap antrian, sehingga kueri besar berjalan dalam antrian dengan lebih banyak memori daripada antrian lainnya. Anda juga dapat mengonfigurasi aturan pemantauan kueri (QMR) untuk membatasi kueri yang berjalan lama. Untuk informasi selengkapnya, lihat Menerapkan manual WLM.

catatan

Sebaiknya konfigurasi antrian kueri WLM manual Anda dengan total 15 slot kueri atau lebih sedikit. Untuk informasi selengkapnya, lihat Tingkat konkurensi.

Perhatikan bahwa sehubungan dengan konfigurasi WLM manual, slot maksimum yang dapat Anda alokasikan ke antrian adalah 50. Namun, ini tidak berarti bahwa dalam konfigurasi WLM otomatis, cluster Amazon Redshift selalu menjalankan 50 kueri secara bersamaan. Hal ini dapat berubah, berdasarkan kebutuhan memori atau jenis alokasi sumber daya lainnya pada cluster.

Mengalihkan mode WLM

Anda dapat mengaktifkan WLM otomatis atau manual menggunakan konsol Amazon Redshift:

  1. Pilih Ber alih mode WLM.

  2. Untuk mengaturnya ke WLM otomatis, pilih Auto W LM. Dengan pilihan ini, hingga delapan antrian digunakan untuk mengelola kueri, dan Memori dan Konkur ensi pada bidang utama keduanya diatur ke Otomatis. Selain itu, prioritas default kueri diatur ke Normal.

  3. Untuk mengaktifkan konfigurasi manual menggunakan konsol Amazon Redshift, beralih ke Manual W LM. Dengan pilihan ini, Anda menentukan antrian yang digunakan untuk mengelola kueri, dan Memori dan Konkur ensi pada nilai bidang utama. Dengan konfigurasi manual, Anda dapat mengonfigurasi hingga delapan antrian kueri dan mengatur jumlah kueri yang dapat dijalankan di masing-masing antrian tersebut secara bersamaan.

Memodifikasi konfigurasi WLM

Cara termudah untuk memodifikasi konfigurasi WLM adalah dengan menggunakan konsol Amazon Redshift. Anda juga dapat menggunakan AWS CLI atau Amazon Redshift API.

Ketika Anda mengalihkan cluster Anda antara WLM otomatis dan manual, cluster Anda dimasukkan ke dalam pending reboot status. Perubahan tidak berlaku sampai reboot cluster berikutnya.

Untuk informasi terperinci tentang memodifikasi konfigurasi WLM, lihat Mengon figurasi Manajemen Beb an Kerja di Panduan Manajemen Amazon Redshift.

Migrasi dari WLM manual ke WLM otomatis

Untuk memaksimalkan throughput sistem dan menggunakan sumber daya dengan paling efektif, sebaiknya siapkan WLM otomatis untuk antrian Anda. Pertimbangkan untuk mengambil pendekatan berikut untuk mengatur transisi yang mulus dari WLM manual ke WLM otomatis.

Untuk bermigrasi dari WLM manual ke WLM otomatis dan menggunakan prioritas kueri, sebaiknya buat grup parameter baru, lalu lampirkan grup parameter tersebut ke cluster Anda. Untuk informasi selengkapnya, lihat Grup Parameter Amazon Redshift di Panduan Manajemen Amazon Redshift.

penting

Untuk mengubah grup parameter atau beralih dari manual ke WLM otomatis memerlukan reboot cluster. Untuk informasi selengkapnya, lihat Properti konfigurasi dinamis dan statis WLM.

Mari kita ambil contoh di mana ada tiga antrian WLM manual. Masing-masing satu untuk beban kerja ETL, beban kerja analitik, dan beban kerja ilmu data. Beban kerja ETL berjalan setiap 6 jam, beban kerja analitik berjalan sepanjang hari, dan beban kerja ilmu data dapat melonjak kapan saja. Dengan WLM manual, Anda menentukan memori dan konkurensi yang didapat setiap antrian beban kerja berdasarkan pemahaman Anda tentang pentingnya setiap beban kerja bagi bisnis. Menentukan memori dan konkurensi tidak hanya sulit untuk diketahui, tetapi juga mengakibatkan sumber daya cluster dipartisi secara statis dan dengan demikian terbuang ketika hanya sebagian dari beban kerja yang berjalan.

Anda dapat menggunakan WLM otomatis dengan prioritas kueri untuk menunjukkan prioritas relatif beban kerja, menghindari masalah sebelumnya. Untuk contoh ini, ikuti langkah-langkah ini:

  • Buat grup parameter baru dan beralih ke mode Auto WLM.

  • Tambahkan antrian untuk masing-masing dari tiga beban kerja: beban kerja ETL, beban kerja analitik, dan beban kerja ilmu data. Gunakan grup pengguna yang sama untuk setiap beban kerja yang digunakan dengan mode WLM Manual.

  • Tetapkan prioritas untuk beban kerja ETL keHigh, beban kerja analitik keNormal, dan ilmu data keLow. Prioritas ini mencerminkan prioritas bisnis Anda untuk beban kerja atau grup pengguna yang berbeda.

  • Secara opsional, aktifkan penskalaan konkurensi untuk antrian analitik atau ilmu data sehingga kueri dalam antrian ini mendapatkan kinerja yang konsisten bahkan ketika beban kerja ETL berjalan setiap 6 jam.

Dengan prioritas kueri, ketika hanya beban kerja analitik yang berjalan di cluster, itu akan mendapatkan seluruh sistem untuk dirinya sendiri. Ini menghasilkan throughput tinggi dengan pemanfaatan sistem yang lebih baik. Namun, ketika beban kerja ETL dimulai, itu menjadi benar karena memiliki prioritas yang lebih tinggi. Kueri yang berjalan sebagai bagian dari beban kerja ETL mendapatkan prioritas selama penerimaan, selain alokasi sumber daya preferensial setelah diterima. Akibatnya, beban kerja ETL bekerja secara dapat diprediksi terlepas dari apa lagi yang mungkin berjalan di sistem. Kinerja yang dapat diprediksi untuk beban kerja prioritas tinggi datang dengan mengorbankan beban kerja lain dengan prioritas lebih rendah yang berjalan lebih lama karena kueri mereka menunggu di belakang kueri yang lebih penting untuk diselesaikan. Atau, karena mereka mendapatkan sebagian kecil sumber daya ketika mereka berjalan bersamaan dengan kueri prioritas yang lebih tinggi. Algoritma penjadwalan yang digunakan oleh Amazon Redshift memfasilitasi bahwa kueri prioritas rendah tidak menderita kelaparan, melainkan terus membuat kemajuan meskipun pada kecepatan yang lebih lambat.

catatan
  • Bidang batas waktu tidak tersedia di WLM otomatis. Sebagai gantinya, gunakan aturan QMR,query_execution_time. Untuk informasi selengkapnya, lihat Aturan pemantauan kueri WLM.

  • Tindakan QMR, HOP, tidak berlaku untuk WLM otomatis. Sebagai gantinya, gunakan change priority tindakan. Untuk informasi selengkapnya, lihat Aturan pemantauan kueri WLM.

  • Cluster menggunakan antrian WLM otomatis dan WLM manual secara berbeda, yang dapat menyebabkan kebingungan dengan konfigurasi Anda. Misalnya, Anda dapat mengonfigurasi properti prioritas dalam antrian WLM otomatis tetapi tidak dalam antrian WLM manual. Dengan demikian, hindari mencampur antrian WLM otomatis dan antrian WLM manual dalam grup parameter. Sebagai gantinya, buat grup parameter baru saat bermigrasi ke WLM otomatis.