Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Siapkan kolektor terkelola untuk Amazon EKS

Untuk menggunakan kolektor Amazon Managed Service for Prometheus, Anda membuat scraper yang menemukan dan menarik metrik di cluster Amazon EKS Anda. Anda juga dapat membuat scraper yang terintegrasi dengan Amazon Managed Streaming untuk Apache Kafka atau dengan OpenSearch Layanan Amazon. Untuk informasi selengkapnya, lihat Meng integrasikan Amazon MSK dan Meng integrasikan OpenSearch Layanan Amazon.

Kolektor Layanan Terkelola Amazon untuk Prometheus mengikis metrik yang ada. Prometheus-compatible Untuk informasi selengkapnya tentang metrik yang kompatibel dengan Prometheus, lihat. Apa itu Prometheus-compatible metrik? Cluster Amazon EKS mengekspos metrik untuk server API. Cluster Amazon EKS yang merupakan versi Kubernetes 1.28 atau lebih tinggi juga mengekspos metrik untuk dan. kube-scheduler kube-controller-manager Untuk informasi selengkapnya, lihat Mengambil metrik mentah bidang kontrol dalam format Prometheus di Panduan Pengguna Amazon EKS.

Topik berikut menjelaskan cara membuat, mengelola, dan mengonfigurasi pencakar.

Buat scraper

Kolektor Amazon Managed Service for Prometheus terdiri dari scraper yang menemukan dan mengumpulkan metrik dari cluster Amazon EKS. Amazon Managed Service for Prometheus mengelola scraper untuk Anda, memberi Anda skalabilitas, keamanan, dan keandalan yang Anda butuhkan, tanpa harus mengelola instans, agen, atau pencakar sendiri.

Ada tiga cara untuk membuat scraper:

Ada beberapa prasyarat untuk membuat scraper Anda sendiri:

AWS API

Untuk membuat scraper menggunakan AWS API

Gunakan operasi CreateScraper API untuk membuat scraper dengan AWS API. Contoh berikut membuat scraper di Wil us-west-2 ayah. Anda perlu mengganti Akun AWS, ruang kerja, keamanan, dan informasi cluster Amazon EKS dengan ID Anda sendiri, dan menyediakan konfigurasi untuk digunakan untuk scraper Anda.

catatan

Grup keamanan dan subnet harus disetel ke grup keamanan dan subnet untuk cluster yang Anda sambungkan.

Anda harus menyertakan setidaknya dua subnet, di setidaknya dua zona ketersediaan.

Ini scrapeConfiguration adalah file YAML konfigurasi Prometheus yang dikodekan base64. Anda dapat mengunduh konfigurasi tujuan umum dengan operasi GetDefaultScraperConfiguration API. Untuk informasi lebih lanjut tentang formatscrapeConfiguration, lihatKonfigurasi scraper.

POST /scrapers HTTP/1.1
Content-Length: 415 
Authorization: AUTHPARAMS
X-Amz-Date: 20201201T193725Z
User-Agent: aws-cli/1.18.147 Python/2.7.18 Linux/5.4.58-37.125.amzn2int.x86_64 botocore/1.18.6

{
    "alias": "myScraper",
    "destination":  {
        "ampConfiguration": {
            "workspaceArn": "arn:aws:aps:us-west-2:account-id:workspace/ws-workspace-id"
        }
    },
    "source": {
        "eksConfiguration": {
            "clusterArn": "arn:aws:eks:us-west-2:account-id:cluster/cluster-name",
            "securityGroupIds": ["sg-security-group-id"],
            "subnetIds": ["subnet-subnet-id-1", "subnet-subnet-id-2"]
        }
    },
    "scrapeConfiguration": {
        "configurationBlob": <base64-encoded-blob>
    }
}

AWS CLI

Untuk membuat scraper menggunakan AWS CLI

Gunakan create-scraper perintah untuk membuat scraper dengan AWS CLI. Contoh berikut membuat scraper di Wil us-west-2 ayah. Anda perlu mengganti Akun AWS, ruang kerja, keamanan, dan informasi cluster Amazon EKS dengan ID Anda sendiri, dan menyediakan konfigurasi untuk digunakan untuk scraper Anda.

catatan

Grup keamanan dan subnet harus disetel ke grup keamanan dan subnet untuk cluster yang Anda sambungkan.

Anda harus menyertakan setidaknya dua subnet, di setidaknya dua zona ketersediaan.

Ini scrape-configuration adalah file YAML konfigurasi Prometheus yang dikodekan base64. Anda dapat mengunduh konfigurasi tujuan umum dengan get-default-scraper-configuration perintah. Untuk informasi lebih lanjut tentang formatscrape-configuration, lihatKonfigurasi scraper.

aws amp create-scraper \
  --source eksConfiguration="{clusterArn='arn:aws:eks:us-west-2:account-id:cluster/cluster-name', securityGroupIds=['sg-security-group-id'],subnetIds=['subnet-subnet-id-1', 'subnet-subnet-id-2']}" \
  --scrape-configuration configurationBlob=<base64-encoded-blob> \
  --destination ampConfiguration="{workspaceArn='arn:aws:aps:us-west-2:account-id:workspace/ws-workspace-id'}"

Berikut ini adalah daftar lengkap operasi scraper yang dapat Anda gunakan dengan AWS API:

Cross-account penyiapan

Untuk membuat scraper lintas akun saat cluster Amazon EKS dan ruang kerja Amazon Managed Service for Prometheus berada di akun yang berbeda, gunakan prosedur berikut. Misalnya, Anda memiliki akun sumber yang account_id_source berisi cluster Amazon EKS dan akun target yang account_id_target berisi ruang kerja Amazon Managed Service for Prometheus.

Mengubah antara RoleConfiguration dan peran terkait layanan

Saat Anda ingin beralih kembali ke peran terkait layanan alih-alih menulis RoleConfiguration ke ruang kerja Layanan Terkelola Amazon untuk Prometheus, Anda harus memperbarui UpdateScraper dan menyediakan ruang kerja di akun yang sama dengan scraper tanpa. RoleConfiguration Ini RoleConfiguration akan dihapus dari scraper dan peran terkait layanan akan digunakan.

Saat Anda mengubah ruang kerja di akun yang sama dengan scraper dan Anda ingin terus menggunakannyaRoleConfiguration, Anda harus menyediakan lagi aktifRoleConfiguration. UpdateScraper

Membuat scraper untuk ruang kerja yang diaktifkan dengan kunci yang dikelola pelanggan

Untuk membuat scraper untuk menelan metrik ke ruang kerja Amazon Managed Service for Prometheus dengan kunci yang dikelola pelanggan, gunakan --role-configuration dengan sumber dan target yang disetel ke akun yang sama.

aws amp create-scraper \
  --source eksConfiguration="{clusterArn='arn:aws:eks:us-west-2:account-id:cluster/xarw,subnetIds=[subnet-subnet_id]}" \
  --scrape-configuration configurationBlob=<base64-encoded-blob> \
  --destination ampConfiguration="{workspaceArn='arn:aws:aps:us-west-2:account-id:workspace/ws-workspace-id'}"\
  --role-configuration '{"sourceRoleArn":"arn:aws:iam::account_id:role/Source", "targetRoleArn":"arn:aws:iam::account_id:role/Target"}'
                

Kesalahan umum saat membuat pencakar

Berikut ini adalah masalah paling umum saat mencoba membuat scraper baru.

Mengkonfigurasi cluster Amazon EKS Anda

Cluster Amazon EKS Anda harus dikonfigurasi agar scraper dapat mengakses metrik. Ada dua opsi untuk konfigurasi ini:

Topik berikut menjelaskan masing-masing secara lebih rinci.

Konfigurasikan Amazon EKS untuk akses scraper dengan entri akses

Menggunakan entri akses untuk Amazon EKS adalah cara termudah untuk memberikan akses Amazon Managed Service for Prometheus untuk mengikis metrik dari cluster Anda.

Cluster Amazon EKS yang Anda gores harus dikonfigurasi untuk mengizinkan otentikasi API. Mode otentikasi cluster harus diatur ke salah satu API atauAPI_AND_CONFIG_MAP. Ini dapat dilihat di konsol Amazon EKS pada tab Konfigurasi akses pada detail cluster. Untuk informasi selengkapnya, lihat Mengizinkan peran IAM atau akses pengguna ke objek Kubernetes di cluster Amazon EKS Anda di Panduan Pengguna Amazon EKS.

Anda dapat membuat scraper saat membuat cluster, atau setelah membuat cluster:

Kebijakan entri akses dibuat

Saat Anda membuat scraper dan membiarkan Amazon Managed Service for Prometheus membuat kebijakan entri akses untuk Anda, kebijakan berikut akan dihasilkan. Untuk informasi selengkapnya tentang entri akses, lihat Mengizinkan peran IAM atau akses pengguna ke Kubernetes di Panduan Pengguna Amazon EKS.

{
    "rules": [
        {
            "effect": "allow",
            "apiGroups": [
                ""
            ],
            "resources": [
                "nodes",
                "nodes/proxy",
                "nodes/metrics",
                "services",
                "endpoints",
                "pods",
                "ingresses",
                "configmaps"
            ],
            "verbs": [
                "get",
                "list",
                "watch"
            ]
        },
        {
            "effect": "allow",
            "apiGroups": [
                "extensions",
                "networking.k8s.io"
            ],
            "resources": [
                "ingresses/status",
                "ingresses"
            ],
            "verbs": [
                "get",
                "list",
                "watch"
            ]
        },
        {
            "effect": "allow",
            "apiGroups": [
                "metrics.eks.amazonaws.com"
            ],
            "resources": [
                "kcm/metrics",
                "ksh/metrics"
            ],
            "verbs": [
                "get"
            ]
        },
        {
            "effect": "allow",
            "nonResourceURLs": [
                "/metrics"
            ],
            "verbs": [
                "get"
            ]
        }
    ]
}

Mengkonfigurasi Amazon EKS secara manual untuk akses scraper

Jika Anda lebih suka menggunakan untuk mengontrol akses aws-auth ConfigMap ke cluster kubernetes Anda, Anda masih dapat memberikan akses pencakar Amazon Managed Service for Prometheus ke metrik Anda. Langkah-langkah berikut akan memberikan akses Amazon Managed Service for Prometheus untuk mengikis metrik dari cluster Amazon EKS Anda.

Prosedur ini menggunakan kubectl dan AWS CLI. Untuk informasi tentang menginstalkubectl, lihat Meng instal kubectl di Panduan Pengguna Amazon EKS.

Temukan dan hapus pencakar

Anda dapat menggunakan AWS API atau AWS CLI untuk membuat daftar pencakar di akun Anda atau untuk menghapusnya.

Untuk membuat daftar semua pencakar di akun Anda, gunakan operasi ListScrapers API.

Atau, dengan AWS CLI, hubungi:

aws amp list-scrapers --region aws-region

ListScrapersmengembalikan semua pencakar di akun Anda, misalnya:

{
    "scrapers": [
        {
            "scraperId": "s-1234abcd-56ef-7890-abcd-1234ef567890",
            "arn": "arn:aws:aps:us-west-2:123456789012:scraper/s-1234abcd-56ef-7890-abcd-1234ef567890",
            "roleArn": "arn:aws:iam::123456789012:role/aws-service-role/AWSServiceRoleForAmazonPrometheusScraper_1234abcd-2931",
            "status": {
                "statusCode": "DELETING"
            },
            "createdAt": "2023-10-12T15:22:19.014000-07:00",
            "lastModifiedAt": "2023-10-12T15:55:43.487000-07:00",
            "tags": {},
            "source": {
                "eksConfiguration": {
                    "clusterArn": "arn:aws:eks:us-west-2:123456789012:cluster/my-cluster",
                    "securityGroupIds": [
                        "sg-1234abcd5678ef90"
                    ],
                    "subnetIds": [
                        "subnet-abcd1234ef567890", 
                        "subnet-1234abcd5678ab90"
                    ]
                }
            },
            "destination": {
                "ampConfiguration": {
                    "workspaceArn": "arn:aws:aps:us-west-2:123456789012:workspace/ws-1234abcd-5678-ef90-ab12-cdef3456a78"
                }
            }
        }
    ]
}

Untuk menghapus scraper, scraperId cari scraper yang ingin Anda hapus, gunakan ListScrapers operasi, lalu gunakan DeleteScraper operasi untuk menghapusnya.

Atau, dengan AWS CLI, hubungi:

aws amp delete-scraper --scraper-id scraperId

Konfigurasi scraper

Anda dapat mengontrol bagaimana scraper Anda menemukan dan mengumpulkan metrik dengan konfigurasi Prometheus-compatible scraper. Misalnya, Anda dapat mengubah interval pengiriman metrik ke ruang kerja. Anda juga dapat menggunakan pelabelan ulang untuk menulis ulang label metrik secara dinamis. Konfigurasi scraper adalah file YAML yang merupakan bagian dari definisi scraper.

Saat scraper baru dibuat, Anda menentukan konfigurasi dengan menyediakan file YAML yang dikodekan base64 dalam panggilan API. Anda dapat mengunduh file konfigurasi tujuan umum dengan GetDefaultScraperConfiguration operasi di Amazon Managed Service for Prometheus API.

Untuk memodifikasi konfigurasi scraper, Anda dapat menggunakan UpdateScraper operasi. Jika Anda perlu memperbarui sumber metrik (misalnya, ke cluster Amazon EKS yang berbeda), Anda harus menghapus scraper dan membuatnya kembali dengan sumber baru.

Konfigurasi yang didukung

Untuk informasi tentang format konfigurasi scraper, termasuk rincian rinci dari nilai yang mungkin, lihat Konfigurasi dalam dokumentasi Prometheus. Opsi konfigurasi global, dan <scrape_config> opsi menjelaskan opsi yang paling umum dibutuhkan.

Karena Amazon EKS adalah satu-satunya layanan yang didukung, satu-satunya konfigurasi penemuan layanan (<*_sd_config>) yang didukung adalah<kubernetes_sd_config>.

Daftar lengkap bagian konfigurasi diizinkan:

Batasan dalam bagian ini tercantum setelah file konfigurasi sampel.

Contoh file konfigurasi

Berikut ini adalah contoh file konfigurasi YAML dengan interval pengikisan 30 detik. Contoh ini mencakup dukungan untuk metrik server API kube, serta metrik kube-controller-manager dan kube-scheduler. Untuk informasi selengkapnya, lihat Mengambil metrik mentah bidang kontrol dalam format Prometheus di Panduan Pengguna Amazon EKS.

global:
   scrape_interval: 30s
   external_labels:
     clusterArn: apiserver-test-2
scrape_configs:
  - job_name: pod_exporter
    kubernetes_sd_configs:
      - role: pod
  - job_name: cadvisor
    scheme: https
    authorization:
      type: Bearer
      credentials_file: /var/run/secrets/kubernetes.io/serviceaccount/token
    kubernetes_sd_configs:
      - role: node
    relabel_configs:
      - action: labelmap
        regex: __meta_kubernetes_node_label_(.+)
      - replacement: kubernetes.default.svc:443
        target_label: __address__
      - source_labels: [__meta_kubernetes_node_name]
        regex: (.+)
        target_label: __metrics_path__
        replacement: /api/v1/nodes/$1/proxy/metrics/cadvisor
  # apiserver metrics
  - scheme: https
    authorization:
      type: Bearer
      credentials_file: /var/run/secrets/kubernetes.io/serviceaccount/token
    job_name: kubernetes-apiservers
    kubernetes_sd_configs:
    - role: endpoints
    relabel_configs:
    - action: keep
      regex: default;kubernetes;https
      source_labels:
      - __meta_kubernetes_namespace
      - __meta_kubernetes_service_name
      - __meta_kubernetes_endpoint_port_name
  # kube proxy metrics
  - job_name: kube-proxy
    honor_labels: true
    kubernetes_sd_configs:
    - role: pod
    relabel_configs:
    - action: keep
      source_labels:
      - __meta_kubernetes_namespace
      - __meta_kubernetes_pod_name
      separator: '/'
      regex: 'kube-system/kube-proxy.+'
    - source_labels:
      - __address__
      action: replace
      target_label: __address__
      regex: (.+?)(\\:\\d+)?
      replacement: $1:10249
  # Scheduler metrics
  - job_name: 'ksh-metrics'
    kubernetes_sd_configs:
    - role: endpoints
    metrics_path: /apis/metrics.eks.amazonaws.com/v1/ksh/container/metrics
    scheme: https
    bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
    relabel_configs:
    - source_labels:
      - __meta_kubernetes_namespace
      - __meta_kubernetes_service_name
      - __meta_kubernetes_endpoint_port_name
      action: keep
      regex: default;kubernetes;https
  # Controller Manager metrics
  - job_name: 'kcm-metrics'
    kubernetes_sd_configs:
    - role: endpoints
    metrics_path: /apis/metrics.eks.amazonaws.com/v1/kcm/container/metrics
    scheme: https
    bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
    relabel_configs:
    - source_labels:
      - __meta_kubernetes_namespace
      - __meta_kubernetes_service_name
      - __meta_kubernetes_endpoint_port_name
      action: keep
      regex: default;kubernetes;https

Berikut ini adalah batasan khusus untuk kolektor AWS yang dikelola:

Pemecahan masalah konfigurasi scraper

Pengumpul Amazon Managed Service untuk Prometheus secara otomatis menemukan dan mengikis metrik. Tetapi bagaimana Anda dapat memecahkan masalah ketika Anda tidak melihat metrik yang Anda harapkan untuk dilihat di ruang kerja Amazon Managed Service untuk Prometheus Anda?

Met up rik adalah alat yang bermanfaat. Untuk setiap titik akhir yang ditemukan kolektor Amazon Managed Service for Prometheus, metrik ini dijual secara otomatis. Ada tiga status metrik ini yang dapat membantu Anda memecahkan masalah apa yang terjadi di dalam kolektor.

Batasan scraper

Ada beberapa batasan pada pencakar yang dikelola sepenuhnya yang disediakan oleh Amazon Managed Service untuk Prometheus.