El raspado de fuentes de Prometheus adicionales y la importación de tales métricas

El agente CloudWatch con supervisión de Prometheus necesita dos configuraciones para raspar las métricas de Prometheus. Una de ellas es para las configuraciones estándar de Prometheus que como se documenta en <scrape_config> en la documentación de Prometheus. La otra es para la configuración del agente de CloudWatch.

Para los clústeres de Amazon EKS, las configuraciones se definen en prometheus-eks.yaml (para el tipo de lanzamiento de EC2) o en prometheus-eks-fargate.yaml (para el tipo de lanzamiento de Fargate) como dos mapas de configuración:

Para los clústeres de Kubernetes que se ejecutan en las instancias de Amazon EC2, las configuraciones se definen en el archivo YAML prometheus-k8s.yaml como dos mapas de configuración:

Para raspar las fuentes de las métricas de Prometheus adicionales e importarlas a CloudWatch, debe modifique tanto la configuración de raspado de Prometheus como la configuración del agente de CloudWatch y, a continuación, volver a implementar el agente con la configuración actualizada.

Requisitos del grupo de seguridad de la VPC

Las reglas de entrada de los grupos de seguridad para las cargas de trabajo de Prometheus deben abrir los puertos de Prometheus al agente de CloudWatch para raspar las métricas de Prometheus por la IP privada.

Las reglas de salida del grupo de seguridad para el agente de CloudWatch deben permitir que el agente de CloudWatch se conecte al puerto de cargas de trabajo de Prometheus mediante la IP privada.

Configuración de raspado de Prometheus

El agente de CloudWatch es compatible con la configuración de raspado estándar de Prometheus como se describe en <scrape_config> en la documentación de Prometheus. Se puede editar esta sección para actualizar las configuraciones que ya están en este archivo y agregar destinos adicionales de raspado de Prometheus. De forma predeterminada, el archivo de configuración de muestra contiene las siguientes líneas de configuración global:

global:
  scrape_interval: 1m
  scrape_timeout: 10s

También puede definir valores diferentes para estos parámetros en el nivel de trabajo, para anular las configuraciones globales.

Trabajos de raspado de Prometheus

Los archivos YAML del agente de CloudWatch ya tienen algunos trabajos de raspado configurados de forma predeterminada. Por ejemplo, en prometheus-eks.yaml, los trabajos de raspado predeterminados se configuran en las líneas job_name en la sección scrape_configs. En este archivo, en la siguiente sección predeterminada kubernetes-pod-jmx se raspan las métricas de JMX exporter.

   - job_name: 'kubernetes-pod-jmx'
      sample_limit: 10000
      metrics_path: /metrics
      kubernetes_sd_configs:
      - role: pod
      relabel_configs:
      - source_labels: [__address__]
        action: keep
        regex: '.*:9404$'
      - action: labelmap
        regex: __meta_kubernetes_pod_label_(.+)
      - action: replace
        source_labels:
        - __meta_kubernetes_namespace
        target_label: Namespace
      - source_labels: [__meta_kubernetes_pod_name]
        action: replace
        target_label: pod_name
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_container_name
        target_label: container_name
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_controller_name
        target_label: pod_controller_name
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_controller_kind
        target_label: pod_controller_kind
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_phase
        target_label: pod_phase

Se realiza el raspado de cada uno de estos destinos predeterminados y las métricas se envían a CloudWatch en eventos de registro mediante el formato de métrica integrada. Para obtener más información, consulte Incrustar métricas en los registros.

Los eventos de registro de los clústeres de Amazon EKS y de Kubernetes se almacenan en el grupo de registro //aws/containerinsights/cluster_name/prometheus en CloudWatch Logs. Los eventos de registro de los clústeres de Amazon ECS se almacenan en el grupo de registro /aws/ecs/containerinsights/cluster_name/prometheus.

Cada trabajo de extracción está contenido en un flujo de registros diferente en este grupo de registros. Por ejemplo, el trabajo de raspado de Prometheus kubernetes-pod-appmesh-envoy se define para App Mesh. Todas las métricas de Prometheus de App Mesh de los clústeres de Amazon EKS y de Kubernetes se envían al flujo de registros denominado /aws/containerinsights/cluster_name>prometheus/kubernetes-pod-appmesh-envoy/.

Para agregar un nuevo destino de extracción, agregue una nueva sección job_name a la sección scrape_configs del archivo YAML y reinicie el agente. Para obtener un ejemplo de este proceso, consulte Tutorial para agregar un destino de raspado nuevo de Prometheus: métricas del servidor de la API de Prometheus.

Configuración del agente de CloudWatch para Prometheus

El archivo de configuración del agente de CloudWatch cuenta con una sección prometheus en metrics_collected para la configuración de raspado de Prometheus. Incluye las siguientes opciones de configuración:

Consulte el siguiente ejemplo, metric_declaration.

"metric_declaration": [
  {
     "source_labels":[ "Service", "Namespace"],
     "label_matcher":"(.*node-exporter.*|.*kube-dns.*);kube-system",
     "dimensions":[
        ["Service", "Namespace"]
     ],
     "metric_selectors":[
        "^coredns_dns_request_type_count_total$"
     ]
  }
]

En este ejemplo se configura una sección de formato de métricas integradas para que se envíe como evento de registro si se cumplen las condiciones siguientes:

El evento de registro que se envía incluye la siguiente sección resaltada:

{
   "CloudWatchMetrics":[
      {
         "Metrics":[
            {
               "Name":"coredns_dns_request_type_count_total"
            }
         ],
         "Dimensions":[
            [
               "Namespace",
               "Service"
            ]
         ],
         "Namespace":"ContainerInsights/Prometheus"
      }
   ],
   "Namespace":"kube-system",
   "Service":"kube-dns",
   "coredns_dns_request_type_count_total":2562,
   "eks_amazonaws_com_component":"kube-dns",
   "instance":"192.168.61.254:9153",
   "job":"kubernetes-service-endpoints",
   ...
}

Tutorial para agregar un destino de raspado nuevo de Prometheus: métricas del servidor de la API de Prometheus

El servidor de la API de Kubernetes expone métricas de Prometheus en los puntos de enlace de forma predeterminada. El ejemplo oficial de la configuración de extracción del servidor de la API de Kubernetes está disponible en Github.

El siguiente tutorial muestra cómo se realizan los siguientes pasos para comenzar a importar métricas del servidor de la API de Kubernetes a CloudWatch:

Una vez hecho esto, debería ver un nuevo flujo de registros denominado kubernetes-apiservers en el grupo de registros /aws/containerinsights/nombre_clúster/prometheus. Esta secuencia de registros debe incluir eventos de registro con una definición de formato de métricas integradas como la siguiente:

{
   "CloudWatchMetrics":[
      {
         "Metrics":[
            {
               "Name":"apiserver_request_total"
            }
         ],
         "Dimensions":[
            [
               "ClusterName",
               "Service"
            ]
         ],
         "Namespace":"ContainerInsights/Prometheus"
      }
   ],
   "ClusterName":"my-cluster-name",
   "Namespace":"default",
   "Service":"kubernetes",
   "Timestamp":"1592267020339",
   "Version":"0",
   "apiserver_request_count":0,
   "apiserver_request_total":0,
   "code":"0",
   "component":"apiserver",
   "contentType":"application/json",
   "instance":"192.0.2.0:443",
   "job":"kubernetes-apiservers",
   "prom_metric_type":"counter",
   "resource":"pods",
   "scope":"namespace",
   "verb":"WATCH",
   "version":"v1"
}

Puede visualizar las métricas en la consola de CloudWatch, en el espacio de nombres ContainerInsights/Prometheus. También tiene la opción de crear un panel de CloudWatch para las métricas del servidor de la API de Kubernetes de Prometheus.

(Opcional) Creación de un panel para las métricas del servidor de la API de Kubernetes.

Para ver las métricas del servidor de la API de Kubernetes en el panel, primero debe haber completado los pasos de las secciones anteriores para comenzar a recopilar estas métricas en CloudWatch.