本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
在 中擷取控制平面原始指標 Prometheus 格式
所以此 Kubernetes 控制平面會公開以 Prometheus 格式
若要檢視原始指標輸出,請執行下列命令。
kubectl get --raw
endpoint
此命令可讓您傳遞任何端點路徑,並傳回原始回應。輸出會列出不同的指標 line-by-line,每行包含指標名稱、標籤和值。
metric_name{tag="value"[,...]} value
從 API 伺服器擷取指標
一般 API 伺服器端點會在 Amazon EKS 控制平面上公開。此端點主要在查看特定指標時很有用。
kubectl get --raw /metrics
範例輸出如下。
[...] # HELP rest_client_requests_total Number of HTTP requests, partitioned by status code, method, and host. # TYPE rest_client_requests_total counter rest_client_requests_total{code="200",host="127.0.0.1:21362",method="POST"} 4994 rest_client_requests_total{code="200",host="127.0.0.1:443",method="DELETE"} 1 rest_client_requests_total{code="200",host="127.0.0.1:443",method="GET"} 1.326086e+06 rest_client_requests_total{code="200",host="127.0.0.1:443",method="PUT"} 862173 rest_client_requests_total{code="404",host="127.0.0.1:443",method="GET"} 2 rest_client_requests_total{code="409",host="127.0.0.1:443",method="POST"} 3 rest_client_requests_total{code="409",host="127.0.0.1:443",method="PUT"} 8 # HELP ssh_tunnel_open_count Counter of ssh tunnel total open attempts # TYPE ssh_tunnel_open_count counter ssh_tunnel_open_count 0 # HELP ssh_tunnel_open_fail_count Counter of ssh tunnel failed open attempts # TYPE ssh_tunnel_open_fail_count counter ssh_tunnel_open_fail_count 0
此原始輸出會逐字傳回 API 伺服器公開的內容。
使用 擷取控制平面指標 metrics.eks.amazonaws.com
對於新的叢集 Kubernetes 版本 1.28
和更高版本,Amazon EKS 也會在 API 群組 下公開指標metrics.eks.amazonaws.com
。這些指標包括控制平面元件,例如 kube-scheduler
和 kube-controller-manager
。這些指標也適用於平台版本與下表相同或更新版本的現有叢集。
Kubernetes 版本 | 平台版本 |
---|---|
|
|
|
|
|
|
|
|
擷取kube-scheduler
指標
若要擷取kube-scheduler
指標,請使用下列命令。
kubectl get --raw "/apis/metrics.eks.amazonaws.com/v1/ksh/container/metrics"
範例輸出如下。
# TYPE scheduler_pending_pods gauge scheduler_pending_pods{queue="active"} 0 scheduler_pending_pods{queue="backoff"} 0 scheduler_pending_pods{queue="gated"} 0 scheduler_pending_pods{queue="unschedulable"} 18 # HELP scheduler_pod_scheduling_attempts [STABLE] Number of attempts to successfully schedule a pod. # TYPE scheduler_pod_scheduling_attempts histogram scheduler_pod_scheduling_attempts_bucket{le="1"} 79 scheduler_pod_scheduling_attempts_bucket{le="2"} 79 scheduler_pod_scheduling_attempts_bucket{le="4"} 79 scheduler_pod_scheduling_attempts_bucket{le="8"} 79 scheduler_pod_scheduling_attempts_bucket{le="16"} 79 scheduler_pod_scheduling_attempts_bucket{le="+Inf"} 81 [...]
擷取kube-controller-manager
指標
若要擷取kube-controller-manager
指標,請使用下列命令。
kubectl get --raw "/apis/metrics.eks.amazonaws.com/v1/kcm/container/metrics"
範例輸出如下。
[...] workqueue_work_duration_seconds_sum{name="pvprotection"} 0 workqueue_work_duration_seconds_count{name="pvprotection"} 0 workqueue_work_duration_seconds_bucket{name="replicaset",le="1e-08"} 0 workqueue_work_duration_seconds_bucket{name="replicaset",le="1e-07"} 0 workqueue_work_duration_seconds_bucket{name="replicaset",le="1e-06"} 0 workqueue_work_duration_seconds_bucket{name="replicaset",le="9.999999999999999e-06"} 0 workqueue_work_duration_seconds_bucket{name="replicaset",le="9.999999999999999e-05"} 19 workqueue_work_duration_seconds_bucket{name="replicaset",le="0.001"} 109 workqueue_work_duration_seconds_bucket{name="replicaset",le="0.01"} 139 workqueue_work_duration_seconds_bucket{name="replicaset",le="0.1"} 181 workqueue_work_duration_seconds_bucket{name="replicaset",le="1"} 191 workqueue_work_duration_seconds_bucket{name="replicaset",le="10"} 191 workqueue_work_duration_seconds_bucket{name="replicaset",le="+Inf"} 191 workqueue_work_duration_seconds_sum{name="replicaset"} 4.265655885000002 [...]
了解排程器和控制器管理員指標
下表說明可用於 的排程器和控制器管理員指標 Prometheus 樣式抓取。如需這些指標的詳細資訊,請參閱中的 Kubernetes 指標參考
指標 | 控制平面元件 | 描述 |
---|---|---|
scheduler_pending_Pod |
排程器 |
等待排程至節點執行的 Pod 數量。 |
scheduler_schedule_attempts_total |
排程器 |
嘗試排程 Pod 的次數。 |
scheduler_preemption_attempts_total |
排程器 |
排程器透過排除較低優先順序的 Pod 來排程較高優先順序 Pod 的嘗試次數。 |
scheduler_preemption_victims |
排程器 |
已選取要移出的 Pod 數量,以騰出空間來容納較高優先順序的 Pod。 |
scheduler_pod_scheduling_attempts |
排程器 |
成功排程 Pod 的嘗試次數。 |
scheduler_scheduling_attempt_duration_seconds |
排程器 |
指示排程器能夠根據資源可用性和排程規則等各種因素,找到適合執行 Pod 的位置。 |
scheduler_pod_scheduling_sli_duration_seconds |
排程器 |
從 Pod 進入排程佇列時開始,Pod 的 end-to-end 延遲。這可能涉及多次排程嘗試。 |
kube_pod_resource_request |
排程器 |
叢集上工作負載請求的資源,依 Pod 細分。這會顯示排程器和 kubelet 對資源每個 Pod 預期的資源用量,以及資源的單位。 |
kube_pod_resource_limit |
排程器 |
叢集上工作負載的資源限制,依 Pod 細分。這會顯示排程器和 kubelet 對資源每個 Pod 預期的資源用量,以及資源的單位。 |
cronjob_controller_job_creation_skew_duration_seconds |
控制器管理員 |
排定執行 cronjob 到建立對應任務之間的時間。 |
workqueue_depth |
控制器管理員 |
佇列的目前深度。 |
workqueue_adds_total |
控制器管理員 |
由 Workqueue 處理的新增總數。 |
workqueue_queue_duration_seconds |
控制器管理員 |
在請求之前,項目保持在工作佇列中的時間,以秒為單位。 |
workqueue_work_duration_seconds |
控制器管理員 |
從 Workqueue 處理項目所需的秒數。 |
部署 Prometheus 抓取器以一致地抓取指標
若要部署 Prometheus 抓取器以持續抓取指標,請使用下列組態:
--- apiVersion: v1 kind: ConfigMap metadata: name: prometheus-conf data: prometheus.yml: |- global: scrape_interval: 30s scrape_configs: # apiserver metrics - job_name: apiserver-metrics kubernetes_sd_configs: - role: endpoints scheme: https tls_config: ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt insecure_skip_verify: true bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token relabel_configs: - source_labels: [ __meta_kubernetes_namespace, __meta_kubernetes_service_name, __meta_kubernetes_endpoint_port_name, ] action: keep regex: default;kubernetes;https # Scheduler metrics - job_name: 'ksh-metrics' kubernetes_sd_configs: - role: endpoints metrics_path: /apis/metrics.eks.amazonaws.com/v1/ksh/container/metrics scheme: https tls_config: ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt insecure_skip_verify: true bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token relabel_configs: - source_labels: [ __meta_kubernetes_namespace, __meta_kubernetes_service_name, __meta_kubernetes_endpoint_port_name, ] action: keep regex: default;kubernetes;https # Controller Manager metrics - job_name: 'kcm-metrics' kubernetes_sd_configs: - role: endpoints metrics_path: /apis/metrics.eks.amazonaws.com/v1/kcm/container/metrics scheme: https tls_config: ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt insecure_skip_verify: true bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token relabel_configs: - source_labels: [ __meta_kubernetes_namespace, __meta_kubernetes_service_name, __meta_kubernetes_endpoint_port_name, ] action: keep regex: default;kubernetes;https --- apiVersion: v1 kind: Pod metadata: name: prom-pod spec: containers: - name: prom-container image: prom/prometheus ports: - containerPort: 9090 volumeMounts: - name: config-volume mountPath: /etc/prometheus/ volumes: - name: config-volume configMap: name: prometheus-conf
Pod 存取新的指標端點需要下列許可。
{ "effect": "allow", "apiGroups": [ "metrics.eks.amazonaws.com" ], "resources": [ "kcm/metrics", "ksh/metrics" ], "verbs": [ "get" ] },
若要修補正在使用的角色,您可以使用下列命令。
kubectl patch clusterrole <role-name> --type=json -p='[ { "op": "add", "path": "/rules/-", "value": { "verbs": ["get"], "apiGroups": ["metrics.eks.amazonaws.com"], "resources": ["kcm/metrics", "ksh/metrics"] } } ]'
然後,您可以檢視 Prometheus 透過代理 的連接埠 Prometheus 刮取器至本機連接埠。
kubectl port-forward pods/prom-pod 9090:9090
對於您的 Amazon EKS 叢集,核心 Kubernetes 控制平面指標也會在AWS/EKS
命名空間下擷取到 Amazon CloudWatch 指標。若要檢視這些指標,請開啟 CloudWatch 主控台AWS/EKS
命名空間和指標維度。