관리형 수집기를 사용하여 Slurm 지표 Prometheus 수집

AWS PCS 클러스터에서 Slurm 지표를 활성화한 후( 참조Slurm AWS PCS의 지표) 관리형 Prometheus 수집기를 사용하여 지표 엔드포인트를 자동으로 스크레이프하고 PromQL 쿼리를 위해 데이터를 전송할 수 있습니다. 관리형 수집기는 VPC 서브넷에 탄력적 네트워크 인터페이스를 생성하여 포트 6817에서 클러스터 컨트롤러의 지표 엔드포인트에 도달합니다.

수집기는 다음 대상 중 하나에 지표를 전달할 수 있습니다.

클러스터 측 구성(Slurm 설정, 컨트롤러 대상, 보안 그룹 및 스크레이프 구성)은 선택한 대상에 관계없이 동일합니다. create-scraper 요청의 destination 블록과 쿼리 엔드포인트만 다릅니다.

aws amp create-scraper 명령을 사용하여 수집기를 생성합니다. 이 명령은 amp CLI 네임스페이스에 속하지만 두 대상을 모두 지원합니다.

VPC 연결 관리형 수집기에 대한 자세한 내용은 Amazon CloudWatch 사용 설명서의 VPC 연결 관리형 수집기 설정을 참조하세요.

사전 조건

관리형 수집기를 구성하기 전에 다음을 확인합니다.

수집기에 대한 보안 그룹 구성

기존 보안 그룹을 재사용하는 대신 관리형 수집기에 대한 전용 보안 그룹을 생성하는 것이 좋습니다. 전용 그룹은 최소 권한 원칙을 따르는 명시적이고 감사 가능한 규칙을 제공합니다.

다음 절차에서는 보안 그룹 IDs 셸 변수를 사용합니다. 명령을 실행하기 전에 다음 변수를 설정합니다.

aws amp create-scraper \
    --source '{"vpcConfiguration":{"subnetIds":["subnet-id-1","subnet-id-2"],"securityGroupIds":["sg-0abc1234def56789a"]}}' \
    ...

보안 그룹 규칙에 대한 자세한 내용은 Amazon VPC 사용 설명서의 보안 그룹 규칙을 참조하세요.

관리형 수집기 생성

AWS CLI 를 사용하여 클러스터 컨트롤러를 스크레이프하고 선택한 대상으로 지표를 전송하는 VPC 연결 관리형 수집기를 생성합니다.

클러스터 컨트롤러 엔드포인트 찾기

스크레이프 구성에는 AWS PCS 클러스터 컨트롤러의 프라이빗 IP 주소가 필요합니다. 다음 방법 중 하나를 사용하여 찾습니다.

제안된 스크레이프 구성

다음 YAML 구성은 클러스터 컨트롤러에서 4개의 Slurm 지표 엔드포인트(작업, 노드, 스케줄러 및 파티션)를 스크레이프합니다. 각 엔드포인트는 별도의 작업으로 정의되므로 쿼리에서 소스별로 지표를 식별할 수 있습니다.

global:
  scrape_interval: 60s
  scrape_timeout: 30s

scrape_configs:
  - job_name: 'slurm-jobs'
    metrics_path: /metrics/jobs
    static_configs:
      - targets:
          - 'controller-endpoint:6817'
    relabel_configs:
      - target_label: cluster
        replacement: 'my-cluster-name'

  - job_name: 'slurm-nodes'
    metrics_path: /metrics/nodes
    static_configs:
      - targets:
          - 'controller-endpoint:6817'
    relabel_configs:
      - target_label: cluster
        replacement: 'my-cluster-name'

  - job_name: 'slurm-scheduler'
    metrics_path: /metrics/scheduler
    static_configs:
      - targets:
          - 'controller-endpoint:6817'
    relabel_configs:
      - target_label: cluster
        replacement: 'my-cluster-name'

  - job_name: 'slurm-partitions'
    metrics_path: /metrics/partitions
    static_configs:
      - targets:
          - 'controller-endpoint:6817'
    relabel_configs:
      - target_label: cluster
        replacement: 'my-cluster-name'

다음과 같이 바꿉니다.

관리scrape_interval형 수집기의 최소값은 30초입니다. 이 구성은 스크레이핑이 Slurm 컨트롤러(slurmctld)에 부하를 가하기 때문에 60초를 사용합니다. 지표 쿼리는 내부 잠금을 획득하고 메모리 내 데이터 구조를 읽습니다. 이 활동은 사용 중인 클러스터의 스케줄러 성능에 영향을 미칠 수 있습니다. 지표 가이드에서는 성능 영향을 최소화하기 위해 Slurm 스크레이프 간격을 60~120초로 권장합니다.

지원되는 스크레이프 구성 옵션에 대한 자세한 내용은 Amazon CloudWatch 사용 설명서의 스크레이퍼 구성을 참조하세요.

지표 전송 확인

스크레이퍼가 ACTIVE 상태에 도달하면 첫 번째 데이터 포인트가 약 한 번의 스크레이프 간격에 전송 시간을 더한 후 나타납니다. 대상과 일치하는 확인 방법을 사용합니다.

Amazon Managed Service for Prometheus 워크스페이스로 전송 확인

SigV4-signed 요청을 전송하여 워크스페이스에서 사용 가능한 지표 이름을 나열합니다.

awscurl --service aps --region region \
    "https://aps-workspaces.region.amazonaws.com/workspaces/workspace-id/api/v1/label/__name__/values"

호출 보안 주체는 aps:QueryMetrics 및 aps:GetLabels 권한(또는 AmazonPrometheusQueryAccess 관리형 정책)이 필요합니다.

CloudWatch 데이터 세트로 전송 확인

SigV4-signed 요청을 보내 CloudWatch 데이터 세트에서 사용 가능한 지표 이름을 나열합니다.

awscurl --service monitoring --region region \
    "https://monitoring.region.amazonaws.com/api/v1/label/__name__/values"

호출 보안 주체에는 cloudwatch:GetMetricData 및 cloudwatch:ListMetrics 권한이 필요합니다.

어느 대상이든 , slurm_nodes slurm_jobs_running또는 slurm_와 같이 로 시작하는 지표 이름을 찾습니다slurm_node_cpus. Slurm 지표가 표시되지 않으면 다음을 확인합니다.

를 사용하여 Slurm 지표 쿼리 PromQL

를 사용하여 수집된 Slurm 지표를 쿼리합니다PromQL. 두 대상에 대해 동일한 쿼리가 작동합니다. 쿼리 방법은 지표를 전달한 위치에 따라 달라집니다.

Amazon Managed Service for Prometheus 워크스페이스 쿼리

다음 예제에서는 awscurl를 사용하여 Amazon Managed Service for Prometheus 워크스페이스에서 실행 중인 작업을 쿼리합니다.

awscurl --service aps --region region \
    -X POST "https://aps-workspaces.region.amazonaws.com/workspaces/workspace-id/api/v1/query" \
    -H "Content-Type: application/x-www-form-urlencoded" \
    -d "query=slurm_jobs_running"

호출 보안 주체에는 aps:QueryMetrics, aps:GetMetricMetadataaps:GetSeries, 및 aps:GetLabels 권한(또는 AmazonPrometheusQueryAccess 관리형 정책)이 필요합니다.

CloudWatch 데이터 세트 쿼리

다음 예제에서는 awscurl를 사용하여 CloudWatch 데이터 세트에서 실행 중인 작업을 쿼리합니다.

awscurl --service monitoring --region region \
    -X POST "https://monitoring.region.amazonaws.com/api/v1/query" \
    -H "Content-Type: application/x-www-form-urlencoded" \
    -d "query=slurm_jobs_running"

호출 보안 주체에는 cloudwatch:GetMetricData 및 cloudwatch:ListMetrics 권한이 필요합니다.

PromQL 쿼리 예제

다음 쿼리는 두 대상에 대해 작동합니다. my-cluster-name을 스크레이프 구성의 cluster 재레이블에 설정한 값으로 바꿉니다.

사용 가능한 지표 및 스크레이핑 구성에 대한 자세한 내용은 Slurm 웹 사이트의 지표 가이드를 참조하세요.