Tentukan persyaratan kapasitas - Amazon Athena

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Tentukan persyaratan kapasitas

Sebelum Anda membuat reservasi kapasitas, Anda dapat memperkirakan kapasitas yang diperlukan sehingga Anda dapat menetapkan jumlah DPUs yang benar. Dan, setelah reservasi digunakan, Anda mungkin ingin memeriksa reservasi untuk kapasitas yang tidak mencukupi atau kelebihan. Topik ini menjelaskan teknik yang dapat Anda gunakan untuk membuat perkiraan ini dan juga menjelaskan beberapa AWS alat untuk menilai penggunaan dan biaya.

Perkirakan kapasitas yang dibutuhkan

Saat memperkirakan persyaratan kapasitas, penting untuk mempertimbangkan dua perspektif: berapa banyak kapasitas yang mungkin dibutuhkan kueri tertentu, dan berapa banyak kapasitas yang mungkin Anda butuhkan secara umum.

Perkirakan persyaratan kapasitas per kueri

Untuk menentukan jumlah kueri DPUs yang mungkin diperlukan, Anda dapat menggunakan pedoman berikut:

  • DDLkueri mengkonsumsi 4DPUs.

  • DMLkueri mengkonsumsi antara 4 dan DPUs 124.

Athena menentukan jumlah yang DPUs dibutuhkan oleh DML kueri saat kueri dikirimkan. Jumlahnya bervariasi berdasarkan ukuran data, format penyimpanan, konstruksi kueri, dan faktor lainnya. Umumnya, Athena mencoba memilih angka terendah dan paling efisienDPU. Jika Athena menentukan bahwa lebih banyak daya komputasi diperlukan agar kueri berhasil diselesaikan, itu meningkatkan jumlah yang DPUs ditugaskan ke kueri.

Perkirakan kebutuhan kapasitas spesifik beban kerja

Untuk menentukan berapa banyak kapasitas yang mungkin Anda perlukan untuk menjalankan beberapa kueri secara bersamaan, pertimbangkan pedoman umum dalam tabel berikut:

Kueri bersamaan DPUsdiperlukan
10 40 atau lebih
20 96 atau lebih
30 atau lebih 240 atau lebih

Perhatikan bahwa jumlah aktual DPUs yang Anda butuhkan tergantung pada tujuan dan pola analisis Anda. Misalnya, jika Anda ingin kueri segera dimulai tanpa antrian, tentukan permintaan kueri bersamaan puncak Anda, lalu berikan jumlah yang sesuai. DPUs

Anda dapat menyediakan DPUs lebih sedikit dari permintaan puncak Anda, tetapi antrian dapat terjadi ketika permintaan puncak terjadi. Saat antrian terjadi, Athena menyimpan kueri Anda dalam antrian dan menjalankannya saat kapasitas tersedia.

Jika tujuan Anda adalah menjalankan kueri dalam anggaran tetap, Anda dapat menggunakan Kalkulator AWS Harga untuk menentukan jumlah DPUs yang sesuai dengan anggaran Anda.

Terakhir, ingat bahwa ukuran data, format penyimpanan, dan bagaimana kueri ditulis memengaruhi permintaan DPUs yang dibutuhkan. Untuk meningkatkan kinerja kueri, Anda dapat mengompres atau mempartisi data Anda atau mengubahnya menjadi format kolumnar. Untuk informasi selengkapnya, lihat Optimalkan kinerja Athena.

Tanda-tanda bahwa lebih banyak kapasitas diperlukan

Pesan kesalahan kapasitas yang tidak mencukupi dan antrian kueri adalah dua indikasi bahwa kapasitas yang Anda tetapkan tidak memadai.

Jika kueri Anda gagal dengan pesan kesalahan kapasitas yang tidak mencukupi, DPU jumlah reservasi kapasitas Anda terlalu rendah untuk kueri Anda. Misalnya, jika Anda memiliki reservasi dengan 24 DPUs dan menjalankan kueri yang membutuhkan lebih dari 24DPUs, kueri akan gagal. Untuk memantau kesalahan kueri ini, Anda dapat menggunakan EventBridge acara Athena. Coba tambahkan lebih banyak DPUs dan jalankan kembali kueri Anda.

Jika banyak pertanyaan antri, itu berarti kapasitas Anda sepenuhnya dimanfaatkan oleh pertanyaan lain. Untuk mengurangi antrian, lakukan salah satu hal berikut:

  • Tambahkan DPUs ke reservasi Anda untuk meningkatkan konkurensi kueri.

  • Hapus grup kerja dari reservasi Anda untuk membebaskan kapasitas kueri lainnya.

Untuk memeriksa antrian kueri yang berlebihan, gunakan CloudWatchmetrik waktu antrian kueri Athena untuk grup kerja dalam reservasi kapasitas Anda. Jika nilainya di atas ambang batas pilihan Anda, Anda dapat DPUs menambah reservasi kapasitas.

Periksa kapasitas idle

Untuk memeriksa kapasitas idle, Anda dapat mengurangi jumlah reservasi atau menambah beban kerjanya, dan kemudian mengamati hasilnya. DPUs

Untuk memeriksa kapasitas idle
  1. Lakukan salah satu hal berikut ini:

    • Kurangi jumlah DPUs reservasi Anda (kurangi sumber daya yang tersedia)

    • Tambahkan grup kerja ke reservasi Anda (tambah beban kerja)

  2. Gunakan CloudWatchuntuk mengukur waktu antrian kueri.

  3. Jika waktu antrian meningkat melampaui level yang diinginkan, lakukan salah satu hal berikut

    • Hapus kelompok kerja

    • Tambahkan DPUs ke reservasi kapasitas Anda

  4. Setelah setiap perubahan, periksa kinerja dan waktu antrian kueri.

  5. Terus sesuaikan beban kerja dan/atau DPU hitungan untuk mencapai keseimbangan yang diinginkan.

Jika Anda tidak ingin mempertahankan kapasitas di luar jangka waktu yang diinginkan, Anda dapat membatalkan reservasi dan membuat reservasi lain nanti. Namun, meskipun Anda baru saja membatalkan kapasitas dari reservasi lain, permintaan untuk kapasitas baru tidak dijamin, dan reservasi baru membutuhkan waktu untuk dibuat.

Anda dapat menggunakan layanan dan fitur berikut AWS untuk mengukur penggunaan dan biaya Athena Anda.

CloudWatchmetrik

Anda dapat mengonfigurasi Athena untuk memublikasikan metrik terkait kueri ke Amazon CloudWatch di tingkat workgroup. Setelah Anda mengaktifkan metrik untuk grup kerja, metrik untuk kueri grup kerja akan ditampilkan di konsol Athena di halaman detail grup kerja.

Untuk informasi tentang metrik Athena yang dipublikasikan CloudWatch dan dimensinya, lihat. Pantau metrik kueri Athena dengan CloudWatch

CloudWatch metrik penggunaan

Anda dapat menggunakan metrik CloudWatch penggunaan untuk memberikan visibilitas tentang cara akun Anda menggunakan sumber daya dengan menampilkan penggunaan layanan saat ini pada CloudWatch grafik dan dasbor. Untuk Athena, metrik ketersediaan penggunaan sesuai dengan kuota AWS layanan untuk Athena. Anda dapat mengonfigurasi alarm yang memberi tahu Anda saat penggunaan mendekati kuota layanan.

Untuk informasi selengkapnya, lihat Pantau metrik penggunaan Athena dengan CloudWatch.

EventBridge Acara Amazon

Anda dapat menggunakan Amazon Athena dengan Amazon EventBridge untuk menerima pemberitahuan waktu nyata mengenai status pertanyaan Anda. Ketika kueri yang Anda kirimkan berubah menyatakan, Athena menerbitkan peristiwa EventBridge yang berisi informasi tentang transisi status kueri. Anda dapat menulis aturan sederhana untuk acara yang menarik bagi Anda dan mengambil tindakan otomatis saat acara cocok dengan aturan.

Untuk informasi selengkapnya, lihat sumber daya berikut ini.

Tanda

Di Athena, reservasi kapasitas mendukung tag. Tag terdiri dari kunci dan nilai. Untuk melacak biaya Anda di Athena, Anda dapat menggunakan tag alokasi biaya AWS yang dihasilkan. AWS menggunakan tag alokasi biaya untuk mengatur biaya sumber daya Anda pada Laporan Biaya dan Penggunaan Anda. Ini memudahkan Anda untuk mengkategorikan dan melacak biaya Anda AWS . Untuk mengaktifkan tag alokasi biaya untuk Athena, Anda menggunakan AWS Billing and Cost Management konsol.

Untuk informasi selengkapnya, lihat sumber daya berikut ini.