Konektor Metrik Amazon Athena CloudWatch - Amazon Athena

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konektor Metrik Amazon Athena CloudWatch

Konektor CloudWatch Metrik Amazon Athena memungkinkan Amazon Athena untuk menanyakan data Metrik. CloudWatch SQL

Konektor ini tidak menggunakan Glue Connections untuk memusatkan properti konfigurasi di Glue. Konfigurasi koneksi dilakukan melalui Lambda.

Untuk informasi tentang memublikasikan metrik kueri CloudWatch dari Athena itu sendiri, lihat. Menggunakan CloudWatch dan EventBridge memantau kueri dan mengendalikan biaya

Prasyarat

Parameter

Gunakan parameter di bagian ini untuk mengkonfigurasi konektor CloudWatch Metrik.

  • spill_bucket - Menentukan bucket Amazon S3 untuk data yang melebihi batas fungsi Lambda.

  • spill_prefix — (Opsional) Default ke subfolder dalam nama yang ditentukan. spill_bucket athena-federation-spill Kami menyarankan Anda mengonfigurasi siklus hidup penyimpanan Amazon S3 di lokasi ini untuk menghapus tumpahan yang lebih lama dari jumlah hari atau jam yang telah ditentukan sebelumnya.

  • spill_put_request_headers — (Opsional) Peta header permintaan dan nilai yang JSON dikodekan untuk permintaan Amazon S3 yang digunakan untuk tumpahan (misalnya,). putObject {"x-amz-server-side-encryption" : "AES256"} Untuk kemungkinan header lainnya, lihat PutObjectdi APIReferensi Layanan Penyimpanan Sederhana Amazon.

  • kms_key_id — (Opsional) Secara default, data apa pun yang tumpah ke Amazon S3 dienkripsi menggunakan AES mode enkripsi yang diautentikasi dan kunci yang dihasilkan secara acak. GCM Agar fungsi Lambda Anda menggunakan kunci enkripsi yang lebih kuat yang dihasilkan oleh KMS likea7e63k4b-8loc-40db-a2a1-4d0en2cd8331, Anda dapat menentukan ID KMS kunci.

  • disable_spill_encryption — (Opsional) Ketika diatur ke, menonaktifkan enkripsi tumpahan. True Defaultnya False agar data yang tumpah ke S3 dienkripsi menggunakan AES - GCM — baik menggunakan kunci yang dihasilkan secara acak atau untuk menghasilkan kunci. KMS Menonaktifkan enkripsi tumpahan dapat meningkatkan kinerja, terutama jika lokasi tumpahan Anda menggunakan enkripsi sisi server.

Konektor juga mendukung kontrol AIMD kemacetan untuk menangani peristiwa pelambatan dari melalui konstruksi CloudWatch Amazon Athena Query Federation. SDK ThrottlingInvoker Anda dapat mengubah perilaku pelambatan default dengan menyetel salah satu variabel lingkungan opsional berikut:

  • throttle_initial_delay_ms - Penundaan panggilan awal diterapkan setelah peristiwa kemacetan pertama. Defaultnya adalah 10 milidetik.

  • throttle_max_delay_ms — Penundaan maksimum antara panggilan. Anda dapat menurunkan TPS dengan membaginya menjadi 1000ms. Defaultnya adalah 1000 milidetik.

  • throttle_decrease_factor — Faktor dimana Athena mengurangi tingkat panggilan. Defaultnya adalah 0,5

  • throttle_increase_ms — Tingkat di mana Athena mengurangi penundaan panggilan. Defaultnya adalah 10 milidetik.

Database dan tabel

Konektor Athena CloudWatch Metrics memetakan ruang nama, dimensi, metrik, dan nilai metrik Anda ke dalam dua tabel dalam satu skema yang disebut. default

Tabel metrik

metricsTabel berisi metrik yang tersedia sebagaimana didefinisikan secara unik oleh kombinasi namespace, set, dan nama. metricsTabel berisi kolom berikut.

  • namespace — A yang VARCHAR berisi namespace.

  • metric_name — A yang VARCHAR berisi nama metrik.

  • dimensi — Sebuah LIST STRUCT objek yang terdiri dari dim_name (VARCHAR) dandim_value (VARCHAR).

  • statistik — Sebuah LIST VARCH statistik (misalnya,, p90AVERAGE,...) tersedia untuk metrik.

Tabel metric_samples

metric_samplesTabel berisi sampel metrik yang tersedia untuk setiap metrik dalam metrics tabel. metric_samplesTabel berisi kolom berikut.

  • namespace — A VARCHAR yang berisi namespace.

  • metric_name — A VARCHAR yang berisi nama metrik.

  • dimensi — Sebuah LIST STRUCT objek yang terdiri dari dim_name (VARCHAR) dandim_value (VARCHAR).

  • dim_name - Bidang VARCHAR kenyamanan yang dapat Anda gunakan untuk memfilter dengan mudah pada satu nama dimensi.

  • dim_value — Bidang VARCHAR kenyamanan yang dapat Anda gunakan untuk memfilter dengan mudah pada nilai dimensi tunggal.

  • PeriodeINT Bidang yang mewakili “periode” metrik dalam detik (misalnya, metrik 60 detik).

  • stempel waktuBIGINT Bidang yang mewakili waktu epoch dalam detik untuk sampel metrik.

  • valueFLOAT8 Bidang yang berisi nilai sampel.

  • statistik — A VARCHAR yang berisi tipe statistik sampel (misalnya, AVERAGE ataup90).

Izin yang Diperlukan

Untuk detail selengkapnya tentang IAM kebijakan yang diperlukan konektor ini, tinjau Policies bagian athena-cloudwatch-metricsfile.yaml. Daftar berikut merangkum izin yang diperlukan.

  • Akses tulis Amazon S3 - Konektor memerlukan akses tulis ke lokasi di Amazon S3 untuk menumpahkan hasil dari kueri besar.

  • Athena GetQueryExecution — Konektor menggunakan izin ini untuk gagal cepat ketika kueri Athena hulu telah dihentikan.

  • CloudWatch Metrik ReadOnly — Konektor menggunakan izin ini untuk menanyakan data metrik Anda.

  • CloudWatch Log Tulis — Konektor menggunakan akses ini untuk menulis log diagnostiknya.

Kinerja

Konektor CloudWatch Metrik Athena mencoba mengoptimalkan kueri terhadap CloudWatch Metrik dengan memparalelkan pemindaian aliran log yang diperlukan untuk kueri Anda. Untuk periode waktu tertentu, metrik, namespace, dan filter dimensi, pushdown predikat dilakukan baik di dalam fungsi Lambda maupun di dalam Log. CloudWatch

Informasi lisensi

Proyek konektor CloudWatch Metrik Amazon Athena dilisensikan di bawah Lisensi Apache-2.0.

Sumber daya tambahan

Untuk informasi tambahan tentang konektor ini, kunjungi situs terkait GitHub di.com.