View a markdown version of this page

Erfassen Slurm Metriken mit einem verwalteten Prometheus Kollektor - AWS STCK
VoraussetzungenKonfigurieren Sie Sicherheitsgruppen für den CollectorErstellen Sie den verwalteten CollectorSuchen Sie den Cluster-Controller-EndpunktVorgeschlagene Scrape-KonfigurationÜberprüfen Sie die Bereitstellung der KennzahlenQuery Slurm Metriken mit PromQL

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erfassen Slurm Metriken mit einem verwalteten Prometheus Kollektor

Nachdem Sie Slurm Metriken in Ihrem AWS PCS-Cluster aktiviert haben (sieheSlurm Metriken in AWS STCK), können Sie einen verwalteten Prometheus Collector verwenden, um die Metrik-Endpunkte automatisch zu scrapen und die Daten für Abfragen bereitzustellen. PromQL Der verwaltete Collector erstellt elastische Netzwerkschnittstellen in Ihren VPC-Subnetzen, um die Metrik-Endpunkte des Cluster-Controllers auf Port 6817 zu erreichen.

Der Collector kann Metriken an eines der folgenden Ziele liefern:

  • Amazon Managed Service für Prometheus Workspace — Ein dedizierter, Prometheus kompatibler Metrikspeicher mit konfigurierbarer Aufbewahrung (standardmäßig 150 Tage). Sie können Abfragen über Prometheus -kompatible APIs oder durchführen. Grafana

  • CloudWatch Datensatz — Der CloudWatch Standarddatensatz Ihres Kontos mit einer Aufbewahrungsfrist von 15 Monaten. Sie können Abfragen über CloudWatch Query Studio oder die Prometheus -kompatible HTTP-API durchführen.

Die clusterseitige Konfiguration (SlurmEinstellungen, Controller-Ziel, Sicherheitsgruppen und Scrape-Konfiguration) ist dieselbe, unabhängig davon, welches Ziel Sie wählen. Nur der destination Block in der Create-Scraper-Anfrage und der Abfrageendpunkt unterscheiden sich.

Sie erstellen den Collector mit dem Befehl. aws amp create-scraper Obwohl dieser Befehl zum amp CLI-Namespace gehört, unterstützt er beide Ziele.

Weitere Informationen zu VPC-connected verwalteten Collectors finden Sie im CloudWatch Amazon-Benutzerhandbuch unter Einen VPC-connected verwalteten Collector einrichten.

Voraussetzungen

Bevor Sie den verwalteten Collector konfigurieren, überprüfen Sie Folgendes:

  • SlurmMetriken aktiviert — Der Metriken-Endpunkt muss in Ihrem Cluster aktiv sein. Sie aktivieren ihn, indem Sie die MetricsType und CommunicationParameters benutzerdefinierte Slurm Einstellungen festlegen. Anweisungen zum Aktivieren von Slurm Metriken finden Sie unterSlurm Metriken in AWS STCK. Weitere Informationen zu benutzerdefinierten Slurm Einstellungen finden Sie unterKonfiguration benutzerdefinierter Slurm-Einstellungen in AWS 5 STCK.

  • SlurmVersion 25.11 oder höher — Der Cluster muss Slurm 25.11 oder höher ausgeführt werden, um den Metrik-Endpunkt verfügbar zu machen.

  • Zielressource — Erstellen Sie das Ziel für Ihre Metriken:

    • Amazon Managed Service für Prometheus Workspace — Erstellen Sie einen Workspace und warten Sie, bis er den Status erreicht ACTIVE hat. Anweisungen zum Erstellen eines Workspace finden Sie unter Workspace erstellen im Amazon Managed Service für Prometheus-Benutzerhandbuch.

    • CloudWatch Datensatz — Jedes Konto hat einen default Datensatz in jeder Region. Sie müssen ihn nicht erstellen.

  • VPC-Subnetze und Netzwerke — Sie benötigen mindestens zwei Subnetze in verschiedenen Availability Zones innerhalb derselben VPC wie der Cluster-Controller. Schließen Sie die Availability Zone ein, in der sich die Netzwerkschnittstelle des Controllers befindet. Die VPC muss über DNS-Unterstützung und aktivierte DNS-Hostnamen verfügen. Ausführliche Netzwerkanforderungen finden Sie im CloudWatch Amazon-Benutzerhandbuch unter Einen VPC-connected verwalteten Collector einrichten.

  • Sicherheitsgruppen — Eine dedizierte Sicherheitsgruppe für den Collector ist erforderlich. Anweisungen zur Konfiguration von Sicherheitsgruppen finden Sie unterKonfigurieren Sie Sicherheitsgruppen für den Collector.

  • IAM-Berechtigungen — Der IAM-Prinzipal, der die Scraper-Anforderungen aps:CreateScraper und -Berechtigungen erstellt. iam:CreateServiceLinkedRole Der Dienst erstellt automatisch eine mit dem Dienst verknüpfte Rolle (). AWSServiceRoleForAmazonPrometheusScraper Diese Rolle gewährt dem Collector die Erlaubnis, auf Ihre VPC-Ressourcen zuzugreifen und an das von Ihnen gewählte Ziel zu schreiben. Es ist keine manuelle Rolleneinrichtung erforderlich. Weitere Informationen finden Sie unter Verwenden von serviceverknüpften Rollen im Amazon Managed Service for Prometheus-Benutzerhandbuch.

  • Internet- oder VPC-Endpunkt — Die Collector-Subnetze müssen in der Lage sein, den Zieldienst zu erreichen. Wenn Ihre Subnetze keinen Internetzugang haben, erstellen Sie einen Schnittstellen-VPC-Endpunkt in derselben VPC und denselben Subnetzen. Verwenden Sie es com.amazonaws.region.aps-workspaces für ein Amazon Managed Service for Prometheus Workspace-Ziel oder für ein Datensatzziel. com.amazonaws.region.monitoring CloudWatch

Konfigurieren Sie Sicherheitsgruppen für den Collector

Wir empfehlen, eine dedizierte Sicherheitsgruppe für den verwalteten Collector zu erstellen, anstatt eine vorhandene Sicherheitsgruppe wiederzuverwenden. Eine dedizierte Gruppe gibt Ihnen explizite, überprüfbare Regeln, die dem Prinzip der geringsten Rechte folgen.

Wichtig

Die enable_http Einstellung macht einen nicht authentifizierten HTTP-Endpunkt auf Port 6817 verfügbar. Beschränken Sie den eingehenden Zugriff auf diesen Port nur auf die Sicherheitsgruppe des Collectors. Erlauben Sie keinen breiten Netzwerkzugriff (z. B. einen CIDR-Bereich) auf diesen Port.

Das folgende Verfahren verwendet Shell-Variablen für Sicherheitsgruppen-IDs. Legen Sie diese Variablen fest, bevor Sie die Befehle ausführen:

  • VPC_ID— Die ID der VPC, in der sich Ihr AWS PCS-Cluster befindet.

  • CLUSTER_SG_ID— Die ID der Sicherheitsgruppe, die an Ihren Cluster angehängt ist (die, die Sie bei der Erstellung des Clusters angegeben haben).

  • VPCE_SG_ID— Die ID der Sicherheitsgruppe, die an Ihren Schnittstellen-VPC-Endpunkt angehängt ist. Diese Variable wird nur benötigt, wenn Ihre Collector-Subnetze den Zieldienst über einen Schnittstellen-VPC-Endpunkt und nicht über Internet oder NAT-Ausgang erreichen. Der Endpunkt bezieht sich com.amazonaws.region.aps-workspaces auf ein Amazon Managed Service for Prometheus Workspace-Ziel oder com.amazonaws.region.monitoring für ein Datensatzziel. CloudWatch

So konfigurieren Sie Sicherheitsgruppen für die verwalteten Prometheus Kollektor

  1. Erstellen Sie eine dedizierte Sicherheitsgruppe für den Collector und erfassen Sie die Gruppen-ID:

    COLLECTOR_SG_ID=$(aws ec2 create-security-group \
    --group-name "pcs-prometheus-collector" \
    --description "Security group for managed Prometheus collector" \
    --vpc-id "$VPC_ID" \
    --query 'GroupId' \
    --output text)

  2. Fügen Sie der Sicherheitsgruppe des Clusters eine Regel für eingehenden Datenverkehr hinzu, die TCP-Verkehr auf Port 6817 aus der Sicherheitsgruppe des Collectors zulässt. Diese Regel ermöglicht es dem Collector, den Slurm Metrik-Endpunkt auf dem Controller zu durchsuchen.

    Verwenden Sie das --ip-permissions Formular, um eine Regelbeschreibung aus Gründen der Überprüfbarkeit einzufügen:

    aws ec2 authorize-security-group-ingress \
    --group-id "$CLUSTER_SG_ID" \
    --ip-permissions \
    'IpProtocol=tcp,FromPort=6817,ToPort=6817,UserIdGroupPairs=[{GroupId='"$COLLECTOR_SG_ID"',Description="Prometheus collector scrapes Slurm metrics"}]'

    Alternativ können Sie das kürzere Formular ohne eine Regelbeschreibung verwenden:

    aws ec2 authorize-security-group-ingress \
    --group-id "$CLUSTER_SG_ID" \
    --protocol tcp \
    --port 6817 \
    --source-group "$COLLECTOR_SG_ID"

  3. (Optional) Sperren Sie den ausgehenden Datenverkehr in der Sicherheitsgruppe des Collectors. Standardmäßig lässt eine neu erstellte Sicherheitsgruppe den gesamten ausgehenden Verkehr zu. Wenn Sie aus Gründen einer höheren Sicherheitslage nur expliziten ausgehenden Datenverkehr erzwingen möchten, heben Sie die Standardregel für alle Zugriffe auf und fügen Sie nur die Regeln für ausgehenden Datenverkehr hinzu, die der Collector benötigt.

    Widerrufen Sie die Standardregel, die allen ausgehenden Verkehr zulässt:

    aws ec2 revoke-security-group-egress \
    --group-id "$COLLECTOR_SG_ID" \
    --ip-permissions '[{"IpProtocol":"-1","IpRanges":[{"CidrIp":"0.0.0.0/0"}]}]'

    Fügen Sie eine explizite Regel für ausgehenden Datenverkehr hinzu, damit der Collector den Controller über TCP 6817 erreichen kann:

    aws ec2 authorize-security-group-egress \
    --group-id "$COLLECTOR_SG_ID" \
    --ip-permissions \
    'IpProtocol=tcp,FromPort=6817,ToPort=6817,UserIdGroupPairs=[{GroupId='"$CLUSTER_SG_ID"',Description="Egress to Slurm controller for metrics scraping"}]'

    Fügen Sie eine explizite Regel für ausgehenden Datenverkehr für HTTPS (TCP 443) hinzu, um das Ziel der Metrikzustellung zu erreichen (Amazon Managed Service für Prometheus oder): CloudWatch

    aws ec2 authorize-security-group-egress \
    --group-id "$COLLECTOR_SG_ID" \
    --ip-permissions \
    'IpProtocol=tcp,FromPort=443,ToPort=443,IpRanges=[{CidrIp=0.0.0.0/0,Description="HTTPS egress for metrics delivery"}]'

    Für eine strengere Kontrolle in Subnetzen, die einen VPC-Endpunkt für die Übertragung verwenden, ersetzen Sie den CIDR-Bereich durch die Sicherheitsgruppe des VPC-Endpunkts:

    aws ec2 authorize-security-group-egress \
    --group-id "$COLLECTOR_SG_ID" \
    --ip-permissions \
    'IpProtocol=tcp,FromPort=443,ToPort=443,UserIdGroupPairs=[{GroupId='"$VPCE_SG_ID"',Description="HTTPS egress to VPC endpoint for metrics delivery"}]'
    Anmerkung

    Wenn Sie die Standardregel für ausgehenden Datenverkehr nicht aufgehoben haben, können Sie diesen Schritt überspringen. Die Standardregel lässt bereits den gesamten ausgehenden Verkehr zu, einschließlich des Datenverkehrs zu Port 6817 und Port 443.

  4. (Isolierte Cluster) Wenn Ihre Collector-Subnetze keinen Internetzugang haben und einen Schnittstellen-VPC-Endpunkt verwenden, um den Zieldienst zu erreichen, fügen Sie der Sicherheitsgruppe des VPC-Endpunkts eine Regel für eingehenden Datenverkehr hinzu. Diese Regel ermöglicht es dem HTTPS-Verkehr des Collectors, die Netzwerkschnittstellen des Endpunkts zu erreichen. Dieser Schritt wird häufig übersehen.

    aws ec2 authorize-security-group-ingress \
    --group-id "$VPCE_SG_ID" \
    --ip-permissions \
    'IpProtocol=tcp,FromPort=443,ToPort=443,UserIdGroupPairs=[{GroupId='"$COLLECTOR_SG_ID"',Description="Managed collector reaches service endpoint"}]'
Anmerkung

Als einfachere, aber weniger restriktive Alternative können Sie die vorhandene Sicherheitsgruppe des Controllers an den Collector anhängen, wenn diese Sicherheitsgruppe eine selbstreferenzierende Regel enthält, die den Datenverkehr von sich selbst zulässt. Dadurch wird die Konnektivitätsanforderung erfüllt, ohne dass eine dedizierte Gruppe erstellt werden muss.

Wenn beispielsweise die Sicherheitsgruppe (sg-0abc1234def56789a) Ihres Clusters bereits den gesamten TCP-Verkehr von sich selbst zulässt, übergeben Sie diese Sicherheitsgruppen-ID im --security-group-ids Parameter, wenn Sie den Scraper erstellen:

aws amp create-scraper \
    --source '{"vpcConfiguration":{"subnetIds":["subnet-id-1","subnet-id-2"],"securityGroupIds":["sg-0abc1234def56789a"]}}' \
    ...

Der im vorherigen Verfahren beschriebene Ansatz für dedizierte Sicherheitsgruppen bietet jedoch eine höhere Sicherheitsbarriere mit expliziten, überprüfbaren Regeln.

Weitere Informationen zu den Regeln der Sicherheitsgruppe finden Sie unter Sicherheitsgruppenregeln im Amazon VPC-Benutzerhandbuch.

Erstellen Sie den verwalteten Collector

Verwenden Sie den AWS CLI , um einen VPC-connected verwalteten Collector zu erstellen, der Ihren Cluster-Controller scrapft und Metriken an das von Ihnen gewählte Ziel liefert.

So erstellen Sie einen verwalteten Collector für Slurm Metriken

  1. Speichern Sie die Scrape-Konfiguration in einer lokalen YAML-Datei mit dem Namen. scrape-config.yaml Eine empfohlene Konfiguration finden Sie unter. Vorgeschlagene Scrape-Konfiguration

  2. Erstellen Sie eine JSON-Eingabedatei create-scraper-input.json mit dem Namen der folgenden Struktur. Wählen Sie den destination Block, der Ihrem Ziel entspricht.

    {
  "source": {
    "vpcConfiguration": {
      "subnetIds": ["subnet-1", "subnet-2"],
      "securityGroupIds": ["sg-collector"]
    }
  },
  "destination": { ... },
  "scrapeConfiguration": {
    "configurationBlob": "raw-yaml-contents"
  }
}

    Ersetzen Sie:

    • subnet-1und subnet-2 — Mindestens zwei Subnetz-IDs in verschiedenen Availability Zones innerhalb derselben VPC wie der Cluster-Controller.

    • sg-collector— Die Sicherheitsgruppen-ID für den verwalteten Collector.

    • raw-yaml-contents— Der vollständige Text Ihrer scrape-config.yaml Datei, eingefügt als einzelner JSON-Zeichenfolgenwert. Das AWS CLI Base64-codiert den Wert auf der Leitung automatisch.

    Verwenden Sie für das destination Feld eine der folgenden Optionen:

    Ziel: Amazon Managed Service für Prometheus Workspace 

    "destination": {
  "ampConfiguration": {
    "workspaceArn": "arn:aws:aps:region:account-id:workspace/workspace-id"
  }
}

    Ziel: Datensatz CloudWatch 

    "destination": {
  "cloudWatchConfiguration": {
    "datasetArn": "arn:aws:cloudwatch:region:account-id:dataset/default"
  }
}

    Den vollständigen Parametersatz finden Sie unter create-scraper in der AWS CLI Befehlsreferenz.

  3. Erstellen Sie den Scraper:

    aws amp create-scraper --cli-input-json file://create-scraper-input.json

    Der Befehl gibt einen scraperId und einen Status von CREATING zurück.

  4. Warten Sie, bis sich der Scraper-Status auf ändert ACTIVE (normalerweise 5—15 Minuten):

    aws amp describe-scraper --scraper-id scraper-id

    Ersetzen Sie scraper-id durch die im vorherigen Schritt zurückgegebene ID. Sie können einen Scraper erst löschen, wenn er ACTIVE den Status erreicht hat.

Suchen Sie den Cluster-Controller-Endpunkt

Für die Scrape-Konfiguration ist die private IP-Adresse Ihres AWS PCS-Cluster-Controllers erforderlich. Verwenden Sie eine der folgenden Methoden, um es zu finden.

AWS-Managementkonsole

  1. Öffnen Sie die AWS PCS-Konsole unter https://console.aws.amazon.com/pcs/.

  2. Wählen Sie Ihren Cluster aus der Liste aus.

  3. Suchen Sie in den Cluster-Konfigurationsdetails nach dem Abschnitt Endpoints.

  4. Notieren Sie sich die private IP-Adresse und den Port für den Slurm Controller (slurmctld). Der Port ist 6817.

AWS CLI

  1. Führen Sie den folgenden Befehl aus. Ersetzen Sie ihn cluster-identifier durch Ihren Clusternamen oder Ihre Cluster-ID.

    aws pcs get-cluster --cluster-identifier cluster-identifier

    Suchen Sie in der Antwort den SLURMCTLD Eintrag im endpoints Array. Der privateIpAddress Wert ist der Controller-Endpunkt, den Sie für die Scrape-Konfiguration benötigen. Ein Beispiel:

    "endpoints": [
    {
        "type": "SLURMCTLD",
        "privateIpAddress": "192.0.2.1",
        "port": "6817"
    },
    {
        "type": "SLURMRESTD",
        "privateIpAddress": "192.0.2.1",
        "port": "6820"
    }
]

    Verwenden Sie den Wert privateIpAddress aus dem SLURMCTLD Eintrag (Port 6817) als controller-endpoint Wert in Ihrer Scrape-Konfiguration.

  2. Extrahieren Sie alternativ nur die Controller-IP-Adresse direkt:

    aws pcs get-cluster --cluster-identifier cluster-identifier \
    --query 'cluster.endpoints[?type==`SLURMCTLD`].privateIpAddress' \
    --output text

Vorgeschlagene Scrape-Konfiguration

Die folgende YAML-Konfiguration entfernt vier Slurm Metrik-Endpunkte (Jobs, Knoten, Scheduler und Partitionen) vom Cluster-Controller. Jeder Endpunkt ist als separater Job definiert, sodass Sie Metriken in Ihren Abfragen anhand der Quelle identifizieren können.

global:
  scrape_interval: 60s
  scrape_timeout: 30s

scrape_configs:
  - job_name: 'slurm-jobs'
    metrics_path: /metrics/jobs
    static_configs:
      - targets:
          - 'controller-endpoint:6817'
    relabel_configs:
      - target_label: cluster
        replacement: 'my-cluster-name'

  - job_name: 'slurm-nodes'
    metrics_path: /metrics/nodes
    static_configs:
      - targets:
          - 'controller-endpoint:6817'
    relabel_configs:
      - target_label: cluster
        replacement: 'my-cluster-name'

  - job_name: 'slurm-scheduler'
    metrics_path: /metrics/scheduler
    static_configs:
      - targets:
          - 'controller-endpoint:6817'
    relabel_configs:
      - target_label: cluster
        replacement: 'my-cluster-name'

  - job_name: 'slurm-partitions'
    metrics_path: /metrics/partitions
    static_configs:
      - targets:
          - 'controller-endpoint:6817'
    relabel_configs:
      - target_label: cluster
        replacement: 'my-cluster-name'

Ersetzen Sie:

  • controller-endpoint— Die private IP-Adresse Ihres AWS PCS-Cluster-Controllers. Anweisungen zum Ermitteln dieses Werts finden Sie unterSuchen Sie den Cluster-Controller-Endpunkt.

  • my-cluster-name— Eine Bezeichnung, die Ihren Cluster identifiziert. Der relabel_configs Block stempelt auf jeder Metrik dieses Scrapers ein cluster Etikett. Filtern Sie immer Abfragen auf dem cluster Etikett. Serien von einem Scraper, der das Etikett nicht gestempelt hat, werden als doppelte, unbeschriftete Serien angezeigt, bis sie veralten.

Das Minimum scrape_interval für einen verwalteten Collector beträgt 30 Sekunden. Diese Konfiguration benötigt 60 Sekunden, da das Scraping den Slurm Controller belastet (slurmctld). Beim Abfragen von Metriken werden interne Sperren erfasst und speicherinterne Datenstrukturen gelesen. Diese Aktivität kann die Leistung des Schedulers auf stark frequentierten Clustern beeinträchtigen. Im Slurm Metrics Guide wird ein Scrape-Intervall von 60—120 Sekunden empfohlen, um die Leistungsbeeinträchtigung so gering wie möglich zu halten.

Anmerkung

Diese Konfiguration beinhaltet nicht den Endpunkt. /metrics/jobs-users-accts SlurmIn der Dokumentation wird davor gewarnt, dass dieser Endpunkt eine unbegrenzte Anzahl von Serien erzeugt und für die gespeicherte Überwachung ungeeignet ist. Löschen Sie auch nicht den bloßen /metrics Index, da er alle Unterendpunktdaten in einer einzigen Antwort zusammenfasst.

Weitere Informationen zu den unterstützten Scrape-Konfigurationsoptionen finden Sie unter Scraper-Konfiguration im Amazon-Benutzerhandbuch. CloudWatch

Überprüfen Sie die Bereitstellung der Kennzahlen

Nachdem der Scraper den ACTIVE Status erreicht hat, erscheinen die ersten Datenpunkte ungefähr ein Scrape-Intervall plus eine spätere Lieferzeit. Verwenden Sie die Bestätigungsmethode, die Ihrem Ziel entspricht.

Bestätigen Sie die Lieferung an einen Amazon Managed Service für Prometheus Workspace

Senden Sie eine SigV4-signed Anfrage, um die verfügbaren Metriknamen aus Ihrem Workspace aufzulisten:

awscurl --service aps --region region \
    "https://aps-workspaces.region.amazonaws.com/workspaces/workspace-id/api/v1/label/__name__/values"

Die Anforderungen aps:QueryMetrics und aps:GetLabels Berechtigungen des anrufenden Prinzipals (oder die AmazonPrometheusQueryAccess verwaltete Richtlinie).

Überprüfen Sie die Übertragung an einen CloudWatch Datensatz

Senden Sie eine SigV4-signed Anfrage, um die verfügbaren Metriknamen aus Ihrem CloudWatch Datensatz aufzulisten:

awscurl --service monitoring --region region \
    "https://monitoring.region.amazonaws.com/api/v1/label/__name__/values"

Anforderungen cloudwatch:GetMetricData und cloudwatch:ListMetrics Berechtigungen des aufrufenden Prinzipals.

Wichtig

An einen CloudWatch Datensatz übermittelte Metriken werden als OpenTelemetry (OTel) -Metriken gespeichert. Sie erscheinen nicht im klassischen CloudWatch Metriken-Namespace-Browser oder in der Ausgabe vonaws cloudwatch list-metrics. Sie müssen sie mit PromQL abfragen.

Suchen Sie für beide Ziele nach Metriknamen, die mit beginnenslurm_, z. B. slurm_nodesslurm_jobs_running, oderslurm_node_cpus. Wenn keine Slurm Metriken angezeigt werden, überprüfen Sie Folgendes:

  • Der Scraper-Status lautetACTIVE.

  • Sicherheitsgruppenregeln ermöglichen es dem Collector, Port 6817 auf dem Controller zu erreichen.

  • Der Slurm Metrik-Endpunkt ist auf dem Cluster aktiviert.

Query Slurm Metriken mit PromQL

Sie fragen die gesammelten Slurm Metriken mit ab. PromQL Dieselben Abfragen funktionieren für beide Ziele. Die Abfragemethode hängt davon ab, wo Sie die Metriken bereitgestellt haben.

Fragen Sie einen Amazon Managed Service für Prometheus Workspace ab

  • HTTP-API — Senden Sie SigV4-signed Anfragen (Dienstnameaps) an https://aps-workspaces.region.amazonaws.com/workspaces/workspace-id/api/v1/query oder. /api/v1/query_range

  • Grafana— Fügen Sie eine Prometheus Datenquelle mit SigV4-Authentifizierung und Dienstnamen aps hinzu. Anweisungen zur Abfrage mit finden Sie unter Abfragen mit Grafana Grafana im Amazon Managed Service for Prometheus Benutzerhandbuch.

Das folgende Beispiel wird verwendetawscurl, um laufende Jobs von einem Amazon Managed Service für Prometheus-Workspace abzufragen:

awscurl --service aps --region region \
    -X POST "https://aps-workspaces.region.amazonaws.com/workspaces/workspace-id/api/v1/query" \
    -H "Content-Type: application/x-www-form-urlencoded" \
    -d "query=slurm_jobs_running"

Der aufrufende Principal benötigt aps:QueryMetricsaps:GetMetricMetadata,aps:GetSeries, und aps:GetLabels Berechtigungen (oder die AmazonPrometheusQueryAccess verwaltete Richtlinie).

Einen CloudWatch Datensatz abfragen

  • CloudWatch Konsole — Öffnen Sie CloudWatch, wählen Sie Query Studio und wählen Sie PromQL aus dem Abfragesprachenmenü aus.

  • HTTP-API — Senden Sie SigV4-signed Anfragen (Dienstnamemonitoring) an https://monitoring.region.amazonaws.com/api/v1/query oder. /api/v1/query_range

  • Grafana— Fügen Sie eine Prometheus Datenquelle mit URLhttps://monitoring.region.amazonaws.com, SigV4-Authentifizierung und Dienstname monitoring hinzu. Anweisungen zum Abfragen von CloudWatch Metriken mit PromQL in Grafana finden Sie unter Abfragen von CloudWatch Metriken mit PromQL in Grafana im Amazon Managed Grafana-Benutzerhandbuch.

Das folgende Beispiel wird verwendet, awscurl um laufende Jobs aus einem Datensatz abzufragen: CloudWatch

awscurl --service monitoring --region region \
    -X POST "https://monitoring.region.amazonaws.com/api/v1/query" \
    -H "Content-Type: application/x-www-form-urlencoded" \
    -d "query=slurm_jobs_running"

Der aufrufende Prinzipal benötigt cloudwatch:GetMetricData und cloudwatch:ListMetrics erteilt Berechtigungen.

Beispiel PromQL queries

Die folgenden Abfragen funktionieren für beide Ziele. my-cluster-nameErsetzen Sie ihn durch den Wert, den Sie im cluster Relabel Ihrer Scrape-Konfiguration festgelegt haben.

Prozentsatz der CPU-Auslastung
100 * slurm_node_cpus_alloc{cluster="my-cluster-name"} / slurm_node_cpus{cluster="my-cluster-name"}
Ausstehende Jobs (Warteschlangenrückstand)
slurm_jobs_pending{cluster="my-cluster-name"}
Ausführen von Aufgaben
slurm_jobs_running{cluster="my-cluster-name"}
Auftragsdurchsatz
slurm_jobs_completed{cluster="my-cluster-name"}

Weitere Informationen zu verfügbaren Metriken und zur Scraping-Konfiguration finden Sie im Metrics-Leitfaden auf der Slurm Website.