Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Richten Sie verwaltete Collectors für Amazon EKS ein

Um einen Amazon Managed Service for Prometheus Collector zu verwenden, erstellen Sie einen Scraper, der Metriken in Ihrem Amazon EKS-Cluster erkennt und abruft. Sie können auch einen Scraper erstellen, der in Amazon Managed Streaming für Apache Kafka oder in Amazon Service integriert ist. OpenSearch Weitere Informationen finden Sie unter Integrieren von Amazon MSK und Integrieren von Amazon Service. OpenSearch

Ein Amazon Managed Service für Prometheus-Sammler scrappt Metriken ab, die es sind. Prometheus-compatible Weitere Informationen zu Prometheus-kompatiblen Metriken finden Sie unter Was sind Prometheus-compatible Metriken?. Amazon EKS-Cluster stellen Metriken für den API-Server zur Verfügung. Amazon EKS-Cluster, die eine Kubernetes-Version 1.28 oder höher haben, stellen auch Metriken für und bereit. kube-scheduler kube-controller-manager Weitere Informationen finden Sie im Amazon EKS-Benutzerhandbuch unter Abrufen von Rohmetriken für die Steuerungsebene im Prometheus-Format.

In den folgenden Themen wird beschrieben, wie Sie Scraper erstellen, verwalten und konfigurieren.

Einen Scraper erstellen

Ein Kollektor von Amazon Managed Service für Prometheus besteht aus einem Scraper, der Metriken aus einem Amazon-EKS-Cluster erkennt und sammelt. Amazon Managed Service für Prometheus verwaltet den Scraper für Sie und bietet Ihnen so die Skalierbarkeit, Sicherheit und Zuverlässigkeit, die Sie benötigen, ohne Instances, Agenten oder Scraper selbst verwalten zu müssen.

Es gibt drei Möglichkeiten, einen Scraper zu erstellen:

Es gibt einige Voraussetzungen, um Ihren eigenen Scraper zu erstellen:

AWS API

So erstellen Sie einen Scraper unter Verwendung der AWS -API

Verwenden Sie die CreateScraper API-Operation, um einen Scraper mit der AWS API zu erstellen. Im folgenden Beispiel wird ein Scraper in der us-west-2 Region erstellt. Sie müssen die Informationen zu AWS-Konto, Workspace, Sicherheit und Amazon-EKS-Cluster durch Ihre eigenen IDs ersetzen und die Konfiguration angeben, die für Ihren Scraper verwendet werden soll.

Anmerkung

Die Sicherheitsgruppe und die Subnetze sollten auf die Sicherheitsgruppe und die Subnetze für den Cluster festgelegt werden, mit dem Sie eine Verbindung herstellen.

Sie müssen mindestens zwei Subnetze in mindestens zwei Availability Zones einfügen.

Das scrapeConfiguration ist eine Prometheus-Konfigurations-YAML-Datei, die Base64-codiert ist. Sie können eine allgemeine Zweckkonfiguration mit der GetDefaultScraperConfigurationAPI-Operation herunterladen. Weitere Informationen zum Format von finden Sie unterscrapeConfiguration. Scraper-Konfiguration

POST /scrapers HTTP/1.1
Content-Length: 415 
Authorization: AUTHPARAMS
X-Amz-Date: 20201201T193725Z
User-Agent: aws-cli/1.18.147 Python/2.7.18 Linux/5.4.58-37.125.amzn2int.x86_64 botocore/1.18.6

{
    "alias": "myScraper",
    "destination":  {
        "ampConfiguration": {
            "workspaceArn": "arn:aws:aps:us-west-2:account-id:workspace/ws-workspace-id"
        }
    },
    "source": {
        "eksConfiguration": {
            "clusterArn": "arn:aws:eks:us-west-2:account-id:cluster/cluster-name",
            "securityGroupIds": ["sg-security-group-id"],
            "subnetIds": ["subnet-subnet-id-1", "subnet-subnet-id-2"]
        }
    },
    "scrapeConfiguration": {
        "configurationBlob": <base64-encoded-blob>
    }
}

AWS CLI

So erstellen Sie einen Scraper unter Verwendung der AWS CLI

Verwenden Sie den create-scraper Befehl, um einen Scraper mit dem AWS CLI zu erstellen. Im folgenden Beispiel wird ein Scraper in der us-west-2 Region erstellt. Sie müssen die Informationen zu AWS-Konto, Workspace, Sicherheit und Amazon-EKS-Cluster durch Ihre eigenen IDs ersetzen und die Konfiguration angeben, die für Ihren Scraper verwendet werden soll.

Anmerkung

Die Sicherheitsgruppe und die Subnetze sollten auf die Sicherheitsgruppe und die Subnetze für den Cluster festgelegt werden, mit dem Sie eine Verbindung herstellen.

Sie müssen mindestens zwei Subnetze in mindestens zwei Availability Zones einfügen.

Das scrape-configuration ist eine Prometheus-Konfigurations-YAML-Datei, die Base64-codiert ist. Mit dem Befehl können Sie eine Allzweckkonfiguration herunterladen. get-default-scraper-configuration Weitere Hinweise zum Format von finden Sie scrape-configuration unterScraper-Konfiguration.

aws amp create-scraper \
  --source eksConfiguration="{clusterArn='arn:aws:eks:us-west-2:account-id:cluster/cluster-name', securityGroupIds=['sg-security-group-id'],subnetIds=['subnet-subnet-id-1', 'subnet-subnet-id-2']}" \
  --scrape-configuration configurationBlob=<base64-encoded-blob> \
  --destination ampConfiguration="{workspaceArn='arn:aws:aps:us-west-2:account-id:workspace/ws-workspace-id'}"

Im Folgenden finden Sie eine vollständige Liste der Scraper-Operationen, die Sie mit der AWS API verwenden können:

Cross-account einrichten

Gehen Sie wie folgt vor, um einen kontoübergreifenden Scraper zu erstellen, wenn sich Ihr Amazon EKS-Cluster und Amazon Managed Service for Prometheus Workspace in unterschiedlichen Konten befinden. Sie haben beispielsweise ein Quellkonto, das den Amazon EKS-Cluster account_id_source enthält, und ein Zielkonto, das den Amazon Managed Service für Prometheus Workspace account_id_target enthält.

Zwischen einer Rolle RoleConfiguration und einer dienstbezogenen Rolle wechseln

Wenn Sie zu einer serviceverknüpften Rolle zurückkehren möchten, anstatt in einen Amazon Managed Service for Prometheus-Workspace RoleConfiguration zu schreiben, müssen Sie den aktualisieren UpdateScraper und einen Workspace in demselben Konto wie der Scraper ohne den bereitstellen. RoleConfiguration Die RoleConfiguration wird aus dem Scraper entfernt und die serviceverknüpfte Rolle wird verwendet.

Wenn Sie die Arbeitsbereiche im selben Konto wie der Scraper wechseln und den weiterhin verwenden möchtenRoleConfiguration, müssen Sie das Kontrollkästchen erneut angeben. RoleConfiguration UpdateScraper

Erstellen Sie einen Scraper für Arbeitsbereiche, die mit vom Kunden verwalteten Schlüsseln aktiviert sind

Um einen Scraper für die Aufnahme von Kennzahlen in einen Amazon Managed Service for Prometheus-Workspace mit vom Kunden verwalteten Schlüsseln zu erstellen, verwenden Sie den, --role-configuration wobei sowohl Quell- als auch Zielkonto auf dasselbe Konto festgelegt sind.

aws amp create-scraper \
  --source eksConfiguration="{clusterArn='arn:aws:eks:us-west-2:account-id:cluster/xarw,subnetIds=[subnet-subnet_id]}" \
  --scrape-configuration configurationBlob=<base64-encoded-blob> \
  --destination ampConfiguration="{workspaceArn='arn:aws:aps:us-west-2:account-id:workspace/ws-workspace-id'}"\
  --role-configuration '{"sourceRoleArn":"arn:aws:iam::account_id:role/Source", "targetRoleArn":"arn:aws:iam::account_id:role/Target"}'
                

Häufige Fehler beim Erstellen von Scrapern

Im Folgenden sind die häufigsten Probleme aufgeführt, wenn versucht wird, einen neuen Scraper zu erstellen.

Ihren Amazon-EKS-Cluster konfigurieren

Ihr Amazon-EKS-Cluster muss so konfiguriert sein, dass der Scraper auf Metriken zugreifen kann. Für diese Konfiguration gibt es zwei Optionen:

In den folgenden Themen wird jedes dieser Themen ausführlicher beschrieben.

Konfigurieren Sie Amazon EKS für den Scraper-Zugriff mit Zugriffseinträgen

Die Verwendung von Zugriffseinträgen für Amazon EKS ist der einfachste Weg, Amazon Managed Service for Prometheus Zugriff auf Scrape-Metriken aus Ihrem Cluster zu gewähren.

Der Amazon EKS-Cluster, den Sie scrapen, muss so konfiguriert sein, dass er die API-Authentifizierung zulässt. Der Cluster-Authentifizierungsmodus muss auf entweder oder API eingestellt sein. API_AND_CONFIG_MAP Dies ist in der Amazon EKS-Konsole auf der Registerkarte Zugriffskonfiguration der Cluster-Details sichtbar. Weitere Informationen finden Sie im Amazon EKS-Benutzerhandbuch unter Zulassen des Zugriffs von IAM-Rollen oder Benutzern auf das Kubernetes-Objekt in Ihrem Amazon EKS-Cluster.

Sie können den Scraper beim Erstellen des Clusters oder nach dem Erstellen des Clusters erstellen:

Eine Zugriffsrichtlinie wurde erstellt

Wenn Sie einen Scraper erstellen und Amazon Managed Service for Prometheus eine Zugriffsrichtlinie für Sie erstellen lassen, wird die folgende Richtlinie generiert. Weitere Informationen zu Zugriffseinträgen finden Sie unter Erlauben des Zugriffs von IAM-Rollen oder Benutzern auf Kubernetes im Amazon EKS-Benutzerhandbuch.

{
    "rules": [
        {
            "effect": "allow",
            "apiGroups": [
                ""
            ],
            "resources": [
                "nodes",
                "nodes/proxy",
                "nodes/metrics",
                "services",
                "endpoints",
                "pods",
                "ingresses",
                "configmaps"
            ],
            "verbs": [
                "get",
                "list",
                "watch"
            ]
        },
        {
            "effect": "allow",
            "apiGroups": [
                "extensions",
                "networking.k8s.io"
            ],
            "resources": [
                "ingresses/status",
                "ingresses"
            ],
            "verbs": [
                "get",
                "list",
                "watch"
            ]
        },
        {
            "effect": "allow",
            "apiGroups": [
                "metrics.eks.amazonaws.com"
            ],
            "resources": [
                "kcm/metrics",
                "ksh/metrics"
            ],
            "verbs": [
                "get"
            ]
        },
        {
            "effect": "allow",
            "nonResourceURLs": [
                "/metrics"
            ],
            "verbs": [
                "get"
            ]
        }
    ]
}

Manuelles Konfigurieren von Amazon EKS für den Scraper-Zugriff

Wenn Sie es vorziehen, den aws-auth ConfigMap zur Zugriffskontrolle auf Ihren Kubernetes-Cluster zu verwenden, können Sie Amazon Managed Service for Prometheus Scraper trotzdem Zugriff auf Ihre Metriken gewähren. Mit den folgenden Schritten erhält Amazon Managed Service for Prometheus Zugriff, um Metriken aus Ihrem Amazon EKS-Cluster zu entfernen.

Dieses Verfahren verwendet kubectl und die CLI. AWS Informationen zum Installieren von kubectl finden Sie unter Installieren von kubectl im Amazon-EKS-Benutzerhandbuch.

Suchen und Löschen von Scrapern

Sie können die AWS API oder die verwenden AWS CLI , um die Scraper in Ihrem Konto aufzulisten oder zu löschen.

Die ListScrapers-API-Operation listet alle Scraper in Ihrem Konto auf.

Rufen Sie alternativ mit dem AWS CLI:

aws amp list-scrapers --region aws-region

ListScrapers gibt alle Scraper in Ihrem Konto zurück, zum Beispiel:

{
    "scrapers": [
        {
            "scraperId": "s-1234abcd-56ef-7890-abcd-1234ef567890",
            "arn": "arn:aws:aps:us-west-2:123456789012:scraper/s-1234abcd-56ef-7890-abcd-1234ef567890",
            "roleArn": "arn:aws:iam::123456789012:role/aws-service-role/AWSServiceRoleForAmazonPrometheusScraper_1234abcd-2931",
            "status": {
                "statusCode": "DELETING"
            },
            "createdAt": "2023-10-12T15:22:19.014000-07:00",
            "lastModifiedAt": "2023-10-12T15:55:43.487000-07:00",
            "tags": {},
            "source": {
                "eksConfiguration": {
                    "clusterArn": "arn:aws:eks:us-west-2:123456789012:cluster/my-cluster",
                    "securityGroupIds": [
                        "sg-1234abcd5678ef90"
                    ],
                    "subnetIds": [
                        "subnet-abcd1234ef567890", 
                        "subnet-1234abcd5678ab90"
                    ]
                }
            },
            "destination": {
                "ampConfiguration": {
                    "workspaceArn": "arn:aws:aps:us-west-2:123456789012:workspace/ws-1234abcd-5678-ef90-ab12-cdef3456a78"
                }
            }
        }
    ]
}

Suchen Sie zum Löschen eines Scrapers mithilfe der ListScrapers-Operation die scraperId für den Scraper, den Sie löschen möchten, und verwenden Sie dann die DeleteScraper-Operation, um ihn zu löschen.

Rufen Sie alternativ mit AWS CLI dem an:

aws amp delete-scraper --scraper-id scraperId

Scraper-Konfiguration

Mit einer Scraper-Konfiguration können Sie steuern, wie Ihr Scraper Metriken erkennt und sammelt. Prometheus-compatible Sie können beispielsweise das Intervall ändern, in dem Metriken an den Workspace gesendet werden. Sie können Umetikettierung auch verwenden, um die Etiketten einer Metrik dynamisch neu zu schreiben. Die Scraper-Konfiguration ist eine YAML-Datei, die Teil der Definition des Scrapers ist.

Wenn ein neuer Scraper erstellt wird, geben Sie eine Konfiguration an, indem Sie im API-Aufruf eine Base64-codierte YAML-Datei angeben. Sie können eine allgemeine Zweckkonfigurationsdatei mit dem GetDefaultScraperConfiguration Vorgang in der API für Amazon Managed Service für Prometheus herunterladen.

Um die Konfiguration eines Scrapers zu ändern, können Sie die Operation verwenden. UpdateScraper Wenn Sie die Quelle der Metriken aktualisieren müssen (z. B. auf einen anderen Amazon EKS-Cluster), müssen Sie den Scraper löschen und ihn mit der neuen Quelle neu erstellen.

Unterstützte Konfiguration

Informationen zum Scraper-Konfigurationsformat, einschließlich einer detaillierten Aufschlüsselung der möglichen Werte, finden Sie unter Konfiguration in der Prometheus-Dokumentation. Die globalen Konfigurationsoptionen und <scrape_config> Optionen beschreiben die am häufigsten benötigten Optionen.

Da Amazon EKS der einzige unterstützte Dienst ist, wird nur die Service Discovery Config (<*_sd_config>) unterstützt. <kubernetes_sd_config>

Die vollständige Liste der zulässigen Konfigurationsabschnitte:

Die Einschränkungen in diesen Abschnitten sind nach der Beispielkonfigurationsdatei aufgeführt.

Beispielkonfigurationsdatei

Im Folgenden finden Sie ein Beispiel für eine YAML-Konfigurationsdatei mit einem Scrape-Intervall von 30 Sekunden. Dieses Beispiel beinhaltet Unterstützung für die Kube-API-Server-Metriken sowie die Kube-Controller-Manager- und Kube-Scheduler-Metriken. Weitere Informationen finden Sie im Amazon EKS-Benutzerhandbuch unter Abrufen von Rohmetriken für die Steuerungsebene im Prometheus-Format.

global:
   scrape_interval: 30s
   external_labels:
     clusterArn: apiserver-test-2
scrape_configs:
  - job_name: pod_exporter
    kubernetes_sd_configs:
      - role: pod
  - job_name: cadvisor
    scheme: https
    authorization:
      type: Bearer
      credentials_file: /var/run/secrets/kubernetes.io/serviceaccount/token
    kubernetes_sd_configs:
      - role: node
    relabel_configs:
      - action: labelmap
        regex: __meta_kubernetes_node_label_(.+)
      - replacement: kubernetes.default.svc:443
        target_label: __address__
      - source_labels: [__meta_kubernetes_node_name]
        regex: (.+)
        target_label: __metrics_path__
        replacement: /api/v1/nodes/$1/proxy/metrics/cadvisor
  # apiserver metrics
  - scheme: https
    authorization:
      type: Bearer
      credentials_file: /var/run/secrets/kubernetes.io/serviceaccount/token
    job_name: kubernetes-apiservers
    kubernetes_sd_configs:
    - role: endpoints
    relabel_configs:
    - action: keep
      regex: default;kubernetes;https
      source_labels:
      - __meta_kubernetes_namespace
      - __meta_kubernetes_service_name
      - __meta_kubernetes_endpoint_port_name
  # kube proxy metrics
  - job_name: kube-proxy
    honor_labels: true
    kubernetes_sd_configs:
    - role: pod
    relabel_configs:
    - action: keep
      source_labels:
      - __meta_kubernetes_namespace
      - __meta_kubernetes_pod_name
      separator: '/'
      regex: 'kube-system/kube-proxy.+'
    - source_labels:
      - __address__
      action: replace
      target_label: __address__
      regex: (.+?)(\\:\\d+)?
      replacement: $1:10249
  # Scheduler metrics
  - job_name: 'ksh-metrics'
    kubernetes_sd_configs:
    - role: endpoints
    metrics_path: /apis/metrics.eks.amazonaws.com/v1/ksh/container/metrics
    scheme: https
    bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
    relabel_configs:
    - source_labels:
      - __meta_kubernetes_namespace
      - __meta_kubernetes_service_name
      - __meta_kubernetes_endpoint_port_name
      action: keep
      regex: default;kubernetes;https
  # Controller Manager metrics
  - job_name: 'kcm-metrics'
    kubernetes_sd_configs:
    - role: endpoints
    metrics_path: /apis/metrics.eks.amazonaws.com/v1/kcm/container/metrics
    scheme: https
    bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
    relabel_configs:
    - source_labels:
      - __meta_kubernetes_namespace
      - __meta_kubernetes_service_name
      - __meta_kubernetes_endpoint_port_name
      action: keep
      regex: default;kubernetes;https

Die folgenden Einschränkungen gelten speziell für verwaltete Collectors: AWS

Fehlerbehebung der Scraper-Konfiguration

Kollektoren von Amazon Managed Service für Prometheus entdecken und scrapen automatisch Metriken. Aber wie können Sie Fehler beheben, wenn Sie in Ihrem Workspace in Amazon Managed Service für Prometheus eine Metrik nicht sehen, die Sie erwarten würden?

Die up Metrik ist ein hilfreiches Tool. Für jeden Endpunkt, den ein Kollektor von Amazon Managed Service für Prometheus erkennt, verkauft er diese Metrik automatisch. Es gibt drei Status dieser Metrik, die Ihnen helfen können, Fehler im Kollektor zu beheben.

Scraper-Einschränkungen

Die vollständig verwalteten Scraper, die von Amazon Managed Service für Prometheus bereitgestellt werden, unterliegen nur wenigen Einschränkungen.