Coletar Slurm métricas com um gerenciado Prometheus coletor

Depois de ativar Slurm as métricas em seu cluster AWS PCS (consulteSlurm métricas em AWS PEÇAS), você pode usar um Prometheus coletor gerenciado para coletar automaticamente os endpoints das métricas e entregar os dados para consulta. PromQL O coletor gerenciado cria interfaces de rede elásticas em suas sub-redes VPC para alcançar os endpoints de métricas do controlador de cluster na porta 6817.

O coletor pode fornecer métricas para qualquer um dos seguintes destinos:

A configuração do lado do cluster (Slurmconfigurações, destino do controlador, grupos de segurança e configuração de scrape) é a mesma, independentemente do destino escolhido. Somente o destination bloco na solicitação create-scraper e o endpoint da consulta são diferentes.

Você cria o coletor com o aws amp create-scraper comando. Embora esse comando pertença ao namespace amp CLI, ele suporta os dois destinos.

Para obter mais informações sobre coletores VPC-connected gerenciados, consulte Configurar um coletor VPC-connected gerenciado no Guia do CloudWatch usuário da Amazon.

Pré-requisitos

Antes de configurar o coletor gerenciado, verifique o seguinte:

Configurar grupos de segurança para o coletor

Recomendamos criar um grupo de segurança dedicado para o coletor gerenciado em vez de reutilizar um grupo de segurança existente. Um grupo dedicado fornece regras explícitas e auditáveis que seguem o princípio do menor privilégio.

O procedimento a seguir usa variáveis de shell para IDs de grupos de segurança. Defina essas variáveis antes de executar os comandos:

aws amp create-scraper \
    --source '{"vpcConfiguration":{"subnetIds":["subnet-id-1","subnet-id-2"],"securityGroupIds":["sg-0abc1234def56789a"]}}' \
    ...

Para obter mais informações sobre regras de grupos de segurança, consulte Regras de grupos de segurança no Guia do usuário da Amazon VPC.

Crie o coletor gerenciado

Use o AWS CLI para criar um coletor VPC-connected gerenciado que coleta seu controlador de cluster e fornece métricas para o destino escolhido.

Encontre o endpoint do controlador de cluster

A configuração de scrape requer o endereço IP privado do seu controlador de cluster AWS PCS. Use um dos métodos a seguir para encontrá-lo.

Configuração de raspagem sugerida

A configuração YAML a seguir extrai quatro endpoints de Slurm métricas (trabalhos, nós, agendador e partições) do controlador do cluster. Cada endpoint é definido como um trabalho separado para que você possa identificar métricas por fonte em suas consultas.

global:
  scrape_interval: 60s
  scrape_timeout: 30s

scrape_configs:
  - job_name: 'slurm-jobs'
    metrics_path: /metrics/jobs
    static_configs:
      - targets:
          - 'controller-endpoint:6817'
    relabel_configs:
      - target_label: cluster
        replacement: 'my-cluster-name'

  - job_name: 'slurm-nodes'
    metrics_path: /metrics/nodes
    static_configs:
      - targets:
          - 'controller-endpoint:6817'
    relabel_configs:
      - target_label: cluster
        replacement: 'my-cluster-name'

  - job_name: 'slurm-scheduler'
    metrics_path: /metrics/scheduler
    static_configs:
      - targets:
          - 'controller-endpoint:6817'
    relabel_configs:
      - target_label: cluster
        replacement: 'my-cluster-name'

  - job_name: 'slurm-partitions'
    metrics_path: /metrics/partitions
    static_configs:
      - targets:
          - 'controller-endpoint:6817'
    relabel_configs:
      - target_label: cluster
        replacement: 'my-cluster-name'

Substitua:

O mínimo scrape_interval para um coletor gerenciado é de 30 segundos. Essa configuração usa 60 segundos porque a raspagem coloca carga no Slurm controlador (slurmctld). A consulta de métricas adquire bloqueios internos e lê estruturas de dados na memória. Essa atividade pode afetar o desempenho do agendador em clusters ocupados. O Guia de Slurm Métricas recomenda um intervalo de coleta de 60 a 120 segundos para minimizar o impacto no desempenho.

Para obter mais informações sobre as opções de configuração de raspagem suportadas, consulte Configuração de raspagem no Guia do CloudWatch usuário da Amazon.

Verifique a entrega de métricas

Depois que o raspador atinge o ACTIVE status, os primeiros pontos de dados aparecem aproximadamente um intervalo de coleta mais o tempo de entrega posterior. Use o método de verificação que corresponde ao seu destino.

Verifique a entrega em um espaço de trabalho do Amazon Managed Service for Prometheus

Envie uma SigV4-signed solicitação para listar os nomes das métricas disponíveis no seu espaço de trabalho:

awscurl --service aps --region region \
    "https://aps-workspaces.region.amazonaws.com/workspaces/workspace-id/api/v1/label/__name__/values"

As necessidades aps:QueryMetrics e aps:GetLabels permissões do principal chamador (ou a política AmazonPrometheusQueryAccess gerenciada).

Verificar a entrega em um CloudWatch conjunto de dados

Envie uma SigV4-signed solicitação para listar os nomes das métricas disponíveis do seu CloudWatch conjunto de dados:

awscurl --service monitoring --region region \
    "https://monitoring.region.amazonaws.com/api/v1/label/__name__/values"

As necessidades cloudwatch:GetMetricData e cloudwatch:ListMetrics permissões do principal chamador.

Para qualquer destino, procure nomes de métricas que comecem com slurm_slurm_nodes, comoslurm_jobs_running, ouslurm_node_cpus. Se nenhuma Slurm métrica aparecer, verifique o seguinte:

Consulta Slurm métricas com PromQL

Você consulta as Slurm métricas coletadas usandoPromQL. As mesmas consultas funcionam em qualquer destino. O método de consulta depende de onde você entregou as métricas.

Consulte um Amazon Managed Service para o espaço de trabalho do Prometheus

O exemplo a seguir é usado awscurl para consultar trabalhos em execução em um espaço de trabalho do Amazon Managed Service for Prometheus:

awscurl --service aps --region region \
    -X POST "https://aps-workspaces.region.amazonaws.com/workspaces/workspace-id/api/v1/query" \
    -H "Content-Type: application/x-www-form-urlencoded" \
    -d "query=slurm_jobs_running"

As necessidades do principal chamador aps:QueryMetricsaps:GetMetricMetadata,aps:GetSeries, e aps:GetLabels as permissões (ou a política AmazonPrometheusQueryAccess gerenciada).

Consultar um CloudWatch conjunto de dados

O exemplo a seguir é usado awscurl para consultar trabalhos em execução a partir de um CloudWatch conjunto de dados:

awscurl --service monitoring --region region \
    -X POST "https://monitoring.region.amazonaws.com/api/v1/query" \
    -H "Content-Type: application/x-www-form-urlencoded" \
    -d "query=slurm_jobs_running"

As necessidades cloudwatch:GetMetricData e cloudwatch:ListMetrics permissões do principal chamador.

Exemplo PromQL queries

As consultas a seguir funcionam em qualquer um dos destinos. my-cluster-nameSubstitua pelo valor que você definiu no cluster rerótulo da sua configuração de raspagem.

Para obter mais informações sobre as métricas disponíveis e a configuração de raspagem, consulte o Guia de métricas no Slurm site.