Extrair outras fontes do Prometheus e importar essas métricas

O atendente do CloudWatch com monitoramento Prometheus precisa de duas configurações para extrair as métricas do Prometheus. Uma serve para as configurações padrão do Prometheus, conforme documentado em <scrape_config> na documentação do Prometheus. A outra é para a configuração do atendente do CloudWatch.

Para clusters do Amazon EKS, as configurações são definidas emprometheus-eks.yaml (para o tipo de inicialização EC2) ou prometheus-eks-fargate.yaml (para o tipo de inicialização do Fargate) como dois mapas de configuração:

Para clusters do Kubernetes em execução em instâncias do Amazon EC2, as configurações são definidas no arquivo YAML prometheus-k8s.yaml como dois mapas de configuração:

Para extrair outras origens de métricas do Prometheus e importar essas métricas para o CloudWatch, modifique a configuração de extração do Prometheus e a configuração do atendente do CloudWatch e implante novamente o atendente com a configuração atualizada.

Requisitos para grupo de segurança de VPC

As regras de entrada dos grupos de segurança para as workloads do Prometheus devem abrir as portas do Prometheus para o atendente do CloudWatch para extrair as métricas Prometheus pelo IP privado.

As regras de saída do grupo de segurança do atendente do CloudWatch devem permitir que o atendente do CloudWatch se conecte à porta das workloads do Prometheus por IP privado.

Configuração de extração do Prometheus

O atendente do CloudWatch oferece suporte às configurações de extração padrão do Prometheus, conforme documentado em <scrape_config> na documentação do Prometheus. É possível editar essa seção para atualizar as configurações que já estão nesse arquivo e adicionar outros destinos de extração do Prometheus. Por padrão, um exemplo de arquivo de configuração contém as seguintes linhas de configuração global:

global:
  scrape_interval: 1m
  scrape_timeout: 10s

Também é possível definir valores diferentes para essas configurações no nível do trabalho, a fim de substituir as configurações globais.

Trabalhos de extração do Prometheus

Os arquivos YAML do atendente do CloudWatch já têm alguns trabalhos padrão de extração configurados. Por exemplo, em prometheus-eks.yaml, os trabalhos de extração padrão são configurados nas linhas job_name da seção scrape_configs. Nesse arquivo, a seguinte seção padrão kubernetes-pod-jmx extrai métricas do JMX Exporter.

   - job_name: 'kubernetes-pod-jmx'
      sample_limit: 10000
      metrics_path: /metrics
      kubernetes_sd_configs:
      - role: pod
      relabel_configs:
      - source_labels: [__address__]
        action: keep
        regex: '.*:9404$'
      - action: labelmap
        regex: __meta_kubernetes_pod_label_(.+)
      - action: replace
        source_labels:
        - __meta_kubernetes_namespace
        target_label: Namespace
      - source_labels: [__meta_kubernetes_pod_name]
        action: replace
        target_label: pod_name
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_container_name
        target_label: container_name
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_controller_name
        target_label: pod_controller_name
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_controller_kind
        target_label: pod_controller_kind
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_phase
        target_label: pod_phase

Cada um desses destinos padrão é extraído e as métricas são enviadas ao CloudWatch em eventos de log usando o formato de métricas incorporado. Para ter mais informações, consulte Incorporação de métricas em logs.

Os eventos de log dos clusters do Amazon EKS e do Kubernetes são armazenados no grupo de logs /aws/containerinsights/cluster_name/prometheus no CloudWatch Logs. Os eventos de log dos clusters do Amazon ECS são armazenados no grupo de logs /aws/ecs/containerinsights/cluster_name/prometheus.

Cada trabalho de extração está contido em um stream de log diferente nesse grupo de logs. Por exemplo, o trabalho de extração do Prometheus kubernetes-pod-appmesh-envoy é definido para o App Mesh. Todas as métricas do App Mesh Prometheus de clusters do Amazon EKS e do Kubernetes são enviadas ao fluxo de logs chamado /aws/containerinsights/cluster_name>prometheus/kubernetes-pod-appmesh-envoy/.

Para adicionar um novo destino de extração, adicione uma nova seção job_name à seção scrape_configs do arquivo YAML e reinicie o atendente. Para obter um exemplo desse processo, consulte Tutorial para adicionar um novo destino de extração do Prometheus: métricas do servidor de API do Prometheus.

Configuração do atendente do CloudWatch para o Prometheus

O arquivo de configuração do atendente do CloudWatch tem uma seção prometheus na seção metrics_collected para a configuração de extração do Prometheus. Contém as seguintes opções de configuração:

Veja o exemplo de metric_declaration a seguir.

"metric_declaration": [
  {
     "source_labels":[ "Service", "Namespace"],
     "label_matcher":"(.*node-exporter.*|.*kube-dns.*);kube-system",
     "dimensions":[
        ["Service", "Namespace"]
     ],
     "metric_selectors":[
        "^coredns_dns_request_type_count_total$"
     ]
  }
]

Esse exemplo configura uma seção de formato de métrica incorporada a ser enviada como um evento de log se as seguintes condições forem atendidas:

O evento de log enviado inclui a seguinte seção destacada:

{
   "CloudWatchMetrics":[
      {
         "Metrics":[
            {
               "Name":"coredns_dns_request_type_count_total"
            }
         ],
         "Dimensions":[
            [
               "Namespace",
               "Service"
            ]
         ],
         "Namespace":"ContainerInsights/Prometheus"
      }
   ],
   "Namespace":"kube-system",
   "Service":"kube-dns",
   "coredns_dns_request_type_count_total":2562,
   "eks_amazonaws_com_component":"kube-dns",
   "instance":"192.168.61.254:9153",
   "job":"kubernetes-service-endpoints",
   ...
}

Tutorial para adicionar um novo destino de extração do Prometheus: métricas do servidor de API do Prometheus

O servidor de API do Kubernetes expõe métricas do Prometheus em endpoints por padrão. O exemplo oficial da configuração de extração do servidor de API do Kubernetes está disponível no Github.

O tutorial a seguir mostra como executar as seguintes etapas para começar a importar métricas do servidor de API do Kubernetes para o CloudWatch:

Uma vez feito isso, será necessário ver um novo stream de log chamado kubernetes-apiservers no grupo de log /aws/containerinsights/cluster_name/prometheus. Esse fluxo de logs deve incluir eventos de log com uma definição de formato de métrica incorporada como a seguinte:

{
   "CloudWatchMetrics":[
      {
         "Metrics":[
            {
               "Name":"apiserver_request_total"
            }
         ],
         "Dimensions":[
            [
               "ClusterName",
               "Service"
            ]
         ],
         "Namespace":"ContainerInsights/Prometheus"
      }
   ],
   "ClusterName":"my-cluster-name",
   "Namespace":"default",
   "Service":"kubernetes",
   "Timestamp":"1592267020339",
   "Version":"0",
   "apiserver_request_count":0,
   "apiserver_request_total":0,
   "code":"0",
   "component":"apiserver",
   "contentType":"application/json",
   "instance":"192.0.2.0:443",
   "job":"kubernetes-apiservers",
   "prom_metric_type":"counter",
   "resource":"pods",
   "scope":"namespace",
   "verb":"WATCH",
   "version":"v1"
}

Você pode visualizar suas métricas no console do CloudWatch no namespace ContainerInsights/Prometheus. Também é possível criar um painel do CloudWatch para as métricas do servidor de API do Kubernetes do Prometheus.

(Opcional) Criar um painel para as métricas do servidor de API do Kubernetes

Para ver as métricas do servidor de API do Kubernetes em seu painel, é necessário ter concluído primeiro as etapas nas seções anteriores para começar a coletar essas métricas no CloudWatch.