在 中擷取控制平面原始指標 Prometheus 格式 - Amazon EKS

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

在 中擷取控制平面原始指標 Prometheus 格式

所以此 Kubernetes 控制平面會公開以 Prometheus 格式表示的許多指標。這些指標對於監視和分析非常有用。它們會透過指標端點在內部公開,而且可以在未完全部署的情況下存取 Prometheus。 不過,部署 Prometheus 更輕鬆地分析一段時間內的指標。

若要檢視原始指標輸出,請執行下列命令。

kubectl get --raw endpoint

此命令可讓您傳遞任何端點路徑,並傳回原始回應。輸出會列出不同的指標 line-by-line,每行包含指標名稱、標籤和值。

metric_name{tag="value"[,...]} value

從 API 伺服器擷取指標

一般 API 伺服器端點會在 Amazon EKS 控制平面上公開。此端點主要在查看特定指標時很有用。

kubectl get --raw /metrics

範例輸出如下。

[...] # HELP rest_client_requests_total Number of HTTP requests, partitioned by status code, method, and host. # TYPE rest_client_requests_total counter rest_client_requests_total{code="200",host="127.0.0.1:21362",method="POST"} 4994 rest_client_requests_total{code="200",host="127.0.0.1:443",method="DELETE"} 1 rest_client_requests_total{code="200",host="127.0.0.1:443",method="GET"} 1.326086e+06 rest_client_requests_total{code="200",host="127.0.0.1:443",method="PUT"} 862173 rest_client_requests_total{code="404",host="127.0.0.1:443",method="GET"} 2 rest_client_requests_total{code="409",host="127.0.0.1:443",method="POST"} 3 rest_client_requests_total{code="409",host="127.0.0.1:443",method="PUT"} 8 # HELP ssh_tunnel_open_count Counter of ssh tunnel total open attempts # TYPE ssh_tunnel_open_count counter ssh_tunnel_open_count 0 # HELP ssh_tunnel_open_fail_count Counter of ssh tunnel failed open attempts # TYPE ssh_tunnel_open_fail_count counter ssh_tunnel_open_fail_count 0

此原始輸出會逐字傳回 API 伺服器公開的內容。

使用 擷取控制平面指標 metrics.eks.amazonaws.com

對於新的叢集 Kubernetes 版本 1.28和更高版本,Amazon EKS 也會在 API 群組 下公開指標metrics.eks.amazonaws.com。這些指標包括控制平面元件,例如 kube-schedulerkube-controller-manager。這些指標也適用於平台版本與下表相同或更新版本的現有叢集。

Kubernetes 版本 平台版本

1.31

eks.10

1.30

eks.18

1.29

eks.21

1.28

eks.27

擷取kube-scheduler指標

若要擷取kube-scheduler指標,請使用下列命令。

kubectl get --raw "/apis/metrics.eks.amazonaws.com/v1/ksh/container/metrics"

範例輸出如下。

# TYPE scheduler_pending_pods gauge scheduler_pending_pods{queue="active"} 0 scheduler_pending_pods{queue="backoff"} 0 scheduler_pending_pods{queue="gated"} 0 scheduler_pending_pods{queue="unschedulable"} 18 # HELP scheduler_pod_scheduling_attempts [STABLE] Number of attempts to successfully schedule a pod. # TYPE scheduler_pod_scheduling_attempts histogram scheduler_pod_scheduling_attempts_bucket{le="1"} 79 scheduler_pod_scheduling_attempts_bucket{le="2"} 79 scheduler_pod_scheduling_attempts_bucket{le="4"} 79 scheduler_pod_scheduling_attempts_bucket{le="8"} 79 scheduler_pod_scheduling_attempts_bucket{le="16"} 79 scheduler_pod_scheduling_attempts_bucket{le="+Inf"} 81 [...]

擷取kube-controller-manager指標

若要擷取kube-controller-manager指標,請使用下列命令。

kubectl get --raw "/apis/metrics.eks.amazonaws.com/v1/kcm/container/metrics"

範例輸出如下。

[...] workqueue_work_duration_seconds_sum{name="pvprotection"} 0 workqueue_work_duration_seconds_count{name="pvprotection"} 0 workqueue_work_duration_seconds_bucket{name="replicaset",le="1e-08"} 0 workqueue_work_duration_seconds_bucket{name="replicaset",le="1e-07"} 0 workqueue_work_duration_seconds_bucket{name="replicaset",le="1e-06"} 0 workqueue_work_duration_seconds_bucket{name="replicaset",le="9.999999999999999e-06"} 0 workqueue_work_duration_seconds_bucket{name="replicaset",le="9.999999999999999e-05"} 19 workqueue_work_duration_seconds_bucket{name="replicaset",le="0.001"} 109 workqueue_work_duration_seconds_bucket{name="replicaset",le="0.01"} 139 workqueue_work_duration_seconds_bucket{name="replicaset",le="0.1"} 181 workqueue_work_duration_seconds_bucket{name="replicaset",le="1"} 191 workqueue_work_duration_seconds_bucket{name="replicaset",le="10"} 191 workqueue_work_duration_seconds_bucket{name="replicaset",le="+Inf"} 191 workqueue_work_duration_seconds_sum{name="replicaset"} 4.265655885000002 [...]

了解排程器和控制器管理員指標

下表說明可用於 的排程器和控制器管理員指標 Prometheus 樣式抓取。如需這些指標的詳細資訊,請參閱中的 Kubernetes 指標參考 Kubernetes 文件中)。

指標 控制平面元件 描述

scheduler_pending_Pod

排程器

等待排程至節點執行的 Pod 數量。

scheduler_schedule_attempts_total

排程器

嘗試排程 Pod 的次數。

scheduler_preemption_attempts_total

排程器

排程器透過排除較低優先順序的 Pod 來排程較高優先順序 Pod 的嘗試次數。

scheduler_preemption_victims

排程器

已選取要移出的 Pod 數量,以騰出空間來容納較高優先順序的 Pod。

scheduler_pod_scheduling_attempts

排程器

成功排程 Pod 的嘗試次數。

scheduler_scheduling_attempt_duration_seconds

排程器

指示排程器能夠根據資源可用性和排程規則等各種因素,找到適合執行 Pod 的位置。

scheduler_pod_scheduling_sli_duration_seconds

排程器

從 Pod 進入排程佇列時開始,Pod 的 end-to-end 延遲。這可能涉及多次排程嘗試。

kube_pod_resource_request

排程器

叢集上工作負載請求的資源,依 Pod 細分。這會顯示排程器和 kubelet 對資源每個 Pod 預期的資源用量,以及資源的單位。

kube_pod_resource_limit

排程器

叢集上工作負載的資源限制,依 Pod 細分。這會顯示排程器和 kubelet 對資源每個 Pod 預期的資源用量,以及資源的單位。

cronjob_controller_job_creation_skew_duration_seconds

控制器管理員

排定執行 cronjob 到建立對應任務之間的時間。

workqueue_depth

控制器管理員

佇列的目前深度。

workqueue_adds_total

控制器管理員

由 Workqueue 處理的新增總數。

workqueue_queue_duration_seconds

控制器管理員

在請求之前,項目保持在工作佇列中的時間,以秒為單位。

workqueue_work_duration_seconds

控制器管理員

從 Workqueue 處理項目所需的秒數。

部署 Prometheus 抓取器以一致地抓取指標

若要部署 Prometheus 抓取器以持續抓取指標,請使用下列組態:

--- apiVersion: v1 kind: ConfigMap metadata: name: prometheus-conf data: prometheus.yml: |- global: scrape_interval: 30s scrape_configs: # apiserver metrics - job_name: apiserver-metrics kubernetes_sd_configs: - role: endpoints scheme: https tls_config: ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt insecure_skip_verify: true bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token relabel_configs: - source_labels: [ __meta_kubernetes_namespace, __meta_kubernetes_service_name, __meta_kubernetes_endpoint_port_name, ] action: keep regex: default;kubernetes;https # Scheduler metrics - job_name: 'ksh-metrics' kubernetes_sd_configs: - role: endpoints metrics_path: /apis/metrics.eks.amazonaws.com/v1/ksh/container/metrics scheme: https tls_config: ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt insecure_skip_verify: true bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token relabel_configs: - source_labels: [ __meta_kubernetes_namespace, __meta_kubernetes_service_name, __meta_kubernetes_endpoint_port_name, ] action: keep regex: default;kubernetes;https # Controller Manager metrics - job_name: 'kcm-metrics' kubernetes_sd_configs: - role: endpoints metrics_path: /apis/metrics.eks.amazonaws.com/v1/kcm/container/metrics scheme: https tls_config: ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt insecure_skip_verify: true bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token relabel_configs: - source_labels: [ __meta_kubernetes_namespace, __meta_kubernetes_service_name, __meta_kubernetes_endpoint_port_name, ] action: keep regex: default;kubernetes;https --- apiVersion: v1 kind: Pod metadata: name: prom-pod spec: containers: - name: prom-container image: prom/prometheus ports: - containerPort: 9090 volumeMounts: - name: config-volume mountPath: /etc/prometheus/ volumes: - name: config-volume configMap: name: prometheus-conf

Pod 存取新的指標端點需要下列許可。

{ "effect": "allow", "apiGroups": [ "metrics.eks.amazonaws.com" ], "resources": [ "kcm/metrics", "ksh/metrics" ], "verbs": [ "get" ] },

若要修補正在使用的角色,您可以使用下列命令。

kubectl patch clusterrole <role-name> --type=json -p='[ { "op": "add", "path": "/rules/-", "value": { "verbs": ["get"], "apiGroups": ["metrics.eks.amazonaws.com"], "resources": ["kcm/metrics", "ksh/metrics"] } } ]'

然後,您可以檢視 Prometheus 透過代理 的連接埠 Prometheus 刮取器至本機連接埠。

kubectl port-forward pods/prom-pod 9090:9090

對於您的 Amazon EKS 叢集,核心 Kubernetes 控制平面指標也會在AWS/EKS命名空間下擷取到 Amazon CloudWatch 指標。若要檢視這些指標,請開啟 CloudWatch 主控台,然後從左側導覽窗格中選取所有指標。在指標選擇頁面上,選擇叢集的AWS/EKS命名空間和指標維度。