Solusi untuk memantau aplikasi Kafka dengan Grafana Terkelola Amazon

Layanan Terkelola Amazon Anda untuk ruang kerja Prometheus untuk menyimpan metrik Kafka dan Java Virtual Machine (JVM) dari kluster Amazon EKS Anda.

Mengumpulkan metrik Kafka dan JVM tertentu menggunakan CloudWatch agen, serta add-on agen. CloudWatch Metrik dikonfigurasi untuk dikirim ke Layanan Terkelola Amazon untuk ruang kerja Prometheus.

Ruang kerja Grafana Terkelola Amazon Anda untuk menarik metrik tersebut, dan membuat dasbor untuk membantu Anda memantau klaster Anda.

Akses ruang kerja Grafana yang Dikelola Amazon oleh pengguna. Untuk informasi selengkapnya tentang harga, lihat harga Grafana Terkelola Amazon.

Layanan Terkelola Amazon untuk konsumsi dan penyimpanan metrik Prometheus, dan analisis metrik (pemrosesan sampel kueri). Jumlah metrik yang digunakan oleh solusi ini bergantung pada konfigurasi dan penggunaan aplikasi Anda.

Anda dapat melihat metrik konsumsi dan penyimpanan di Layanan Terkelola Amazon untuk Prometheus menggunakan Untuk informasi CloudWatch selengkapnya, lihat metrik CloudWatchdi Panduan Pengguna Layanan Terkelola Amazon untuk Prometheus.

Anda dapat memperkirakan biaya menggunakan kalkulator harga di halaman harga Amazon Managed Service for Prometheus. Jumlah metrik akan tergantung pada jumlah node di cluster Anda, dan metrik yang dihasilkan aplikasi Anda.

Biaya jaringan. Anda mungkin dikenakan biaya AWS jaringan standar untuk lintas zona ketersediaan, Wilayah, atau lalu lintas lainnya.

jvm.classes.loaded

jvm.gc.collections.count

jvm.gc.collections.berlalu

jvm.memory.heap.init

jvm.memory.heap.max

jvm.memory.heap.used

jvm.memory.heap.commit

jvm.memory.nonheap.init

jvm.memory.nonheap.max

jvm.memory.nonheap.used

jvm.memory.nonheap.commit

jvm.memory.pool.init

jvm.memory.pool.max

jvm.memory.pool.used

jvm.memory.pool.commit

jvm.threads.count

kafka.message.count

kafka.request.count

kafka.request.failed

kafka.request.time.total

kafka.request.time.50p

kafka.request.time.99p

kafka.request.time.avg

kafka.network.io

kafka.purgatory.size

kafka.partition.count

kafka.partition.offline

kafka.partition.under_replicated

kafka.isr.operation.count

kafka.max.lag

kafka.controller.active.count

kafka.leader.election.rate

kafka.unclean.election.rate

kafka.request.queue

kafka.logs.flush.time.count

kafka.logs.flush.time.median

kafka.logs.flush.time.99p

kafka.consumer.fetch-rate

kafka.konsumen. records-lag-max

kafka.consumer.total. bytes-consumed-rate

kafka.consumer.total. fetch-size-avg

kafka.consumer.total. records-consumed-rate

kafka.konsumen. bytes-consumed-rate

kafka.konsumen. fetch-size-avg

kafka.konsumen. records-consumed-rate

kafka.produser. io-wait-time-ns-rata-rata

kafka.produser. outgoing-byte-rate

kafka.produser. request-latency-avg

kafka.producer.request-rate

kafka.producer.response-rate

kafka.producer.byte-rate

kafka.producer.comtingkat tekanan

kafka.produser. record-error-rate

kafka.produser. record-retry-rate

kafka.produser. record-send-rate

Anda harus menyelesaikan semua Prasyarat sebelum menginstal solusi.

Cluster harus memiliki setidaknya satu node di dalamnya sebelum mencoba membuat solusi atau mengakses metrik.

Cluster Amazon EKS Anda harus menginstalAWS CNI, CoreDNS dan kube-proxy add-on. Jika tidak diinstal, solusinya tidak akan berfungsi dengan benar. Mereka diinstal secara default, saat membuat cluster melalui konsol. Anda mungkin perlu menginstalnya jika cluster dibuat melalui AWS SDK.

Waktu penginstalan pod Amazon EKS habis. Ini bisa terjadi jika tidak ada kapasitas node yang cukup tersedia. Ada beberapa penyebab masalah ini, termasuk:

Anda tidak melihat dasbor apa pun di Grafana: menggunakan ID ruang kerja Grafana yang salah.

Jalankan perintah berikut untuk mendapatkan informasi tentang Grafana:

kubectl describe grafanas external-grafana -n grafana-operator

Anda dapat memeriksa hasil untuk URL ruang kerja yang benar. Jika bukan yang Anda harapkan, gunakan kembali dengan ID ruang kerja yang benar.

Spec:
  External:
    API Key:
      Key:   GF_SECURITY_ADMIN_APIKEY
      Name:  grafana-admin-credentials
    URL:     https://g-123example.grafana-workspace.aws-region.amazonaws.com
Status:
  Admin URL:  https://g-123example.grafana-workspace.aws-region.amazonaws.com
  Dashboards:
    ...

Anda tidak melihat dasbor apa pun di Grafana: Anda menggunakan kunci API yang kedaluwarsa.

Untuk mencari kasus ini, Anda harus mendapatkan operator grafana dan memeriksa log untuk kesalahan. Dapatkan nama operator Grafana dengan perintah ini:

kubectl get pods -n grafana-operator

Ini akan mengembalikan nama operator, misalnya:

NAME                               READY   STATUS    RESTARTS   AGE
grafana-operator-1234abcd5678ef90   1/1     Running   0          1h2m

Gunakan nama operator dalam perintah berikut:

kubectl logs grafana-operator-1234abcd5678ef90 -n grafana-operator

Pesan galat seperti berikut ini menunjukkan kunci API yang kedaluwarsa:

ERROR   error reconciling datasource    {"controller": "grafanadatasource", "controllerGroup": "grafana.integreatly.org", "controllerKind": "GrafanaDatasource", "GrafanaDatasource": {"name":"grafanadatasource-sample-amp","namespace":"grafana-operator"}, "namespace": "grafana-operator", "name": "grafanadatasource-sample-amp", "reconcileID": "72cfd60c-a255-44a1-bfbd-88b0cbc4f90c", "datasource": "grafanadatasource-sample-amp", "grafana": "external-grafana", "error": "status: 401, body: {\"message\":\"Expired API key\"}\n"}
github.com/grafana-operator/grafana-operator/controllers.(*GrafanaDatasourceReconciler).Reconcile

Dalam hal ini, buat kunci API baru dan terapkan solusinya lagi. Jika masalah berlanjut, Anda dapat memaksa sinkronisasi dengan menggunakan perintah berikut sebelum menerapkan kembali:

kubectl delete externalsecret/external-secrets-sm -n grafana-operator

Parameter SSM tidak ada. Jika Anda melihat kesalahan seperti berikut ini, jalankan cdk bootstrap dan coba lagi.

Deployment failed: Error: aws-observability-solution-kafka-eks-$EKS_CLUSTER_NAME: SSM 
parameter /cdk-bootstrap/xxxxxxx/version not found. Has the environment been 
bootstrapped? Please run 'cdk bootstrap' (see https://docs.aws.amazon.com/cdk/latest/
guide/bootstrapping.html)