マネージドPrometheusコレクターを使用してSlurmメトリクスを収集する

AWS PCS クラスターでSlurmメトリクスを有効にした後 (「」を参照Slurm PCS AWS の メトリクス)、マネージドPrometheusコレクターを使用してメトリクスエンドポイントを自動的にスクレイプし、PromQLクエリ用のデータを配信できます。マネージドコレクターは、VPC サブネットに Elastic Network Interface を作成して、ポート 6817 でクラスターコントローラーのメトリクスエンドポイントに到達します。

コレクターは、次のいずれかの宛先にメトリクスを配信できます。

クラスター側の設定 (Slurm設定、コントローラーターゲット、セキュリティグループ、スクレイプ設定) は、選択した送信先に関係なく同じです。create-scraper リクエストの destinationブロックとクエリエンドポイントのみが異なります。

aws amp create-scraper コマンドを使用してコレクターを作成します。このコマンドは CLI amp 名前空間に属しますが、両方の送信先をサポートしています。

VPC に接続されたマネージドコレクターの詳細については、Amazon CloudWatch ユーザーガイド」の「VPC に接続されたマネージドコレクターのセットアップ」を参照してください。

前提条件

マネージドコレクターを設定する前に、以下を確認してください。

コレクターのセキュリティグループを設定する

既存のセキュリティグループを再利用するのではなく、マネージドコレクター専用のセキュリティグループを作成することをお勧めします。専用グループは、最小特権の原則に従う明示的で監査可能なルールを提供します。

次の手順では、セキュリティグループ IDs のシェル変数を使用します。コマンドを実行する前に、これらの変数を設定します。

aws amp create-scraper \
    --source '{"vpcConfiguration":{"subnetIds":["subnet-id-1","subnet-id-2"],"securityGroupIds":["sg-0abc1234def56789a"]}}' \
    ...

セキュリティグループのルールの詳細についてはAmazon VPCユーザーガイドの「セキュリティグループのルール」を参照してください。

マネージドコレクターを作成する

AWS CLI を使用して、クラスターコントローラーをスクレイプし、選択した送信先にメトリクスを配信する VPC 接続マネージドコレクターを作成します。

クラスターコントローラーエンドポイントを検索する

スクレイプ設定には、 AWS PCS クラスターコントローラーのプライベート IP アドレスが必要です。次のいずれかの方法を使用して検索します。

推奨されるスクレイプ設定

次の YAML 設定は、クラスターコントローラーから 4 つのSlurmメトリクスエンドポイント (ジョブ、ノード、スケジューラ、パーティション) をスクレイプします。各エンドポイントは個別のジョブとして定義され、クエリでソース別にメトリクスを識別できます。

global:
  scrape_interval: 60s
  scrape_timeout: 30s

scrape_configs:
  - job_name: 'slurm-jobs'
    metrics_path: /metrics/jobs
    static_configs:
      - targets:
          - 'controller-endpoint:6817'
    relabel_configs:
      - target_label: cluster
        replacement: 'my-cluster-name'

  - job_name: 'slurm-nodes'
    metrics_path: /metrics/nodes
    static_configs:
      - targets:
          - 'controller-endpoint:6817'
    relabel_configs:
      - target_label: cluster
        replacement: 'my-cluster-name'

  - job_name: 'slurm-scheduler'
    metrics_path: /metrics/scheduler
    static_configs:
      - targets:
          - 'controller-endpoint:6817'
    relabel_configs:
      - target_label: cluster
        replacement: 'my-cluster-name'

  - job_name: 'slurm-partitions'
    metrics_path: /metrics/partitions
    static_configs:
      - targets:
          - 'controller-endpoint:6817'
    relabel_configs:
      - target_label: cluster
        replacement: 'my-cluster-name'

置き換え前:

マネージドコレクターscrape_intervalの最小値は 30 秒です。この設定では、スクレイピングによってSlurmコントローラー (slurmctld) に負荷がかかるため、60 秒が使用されます。メトリクスをクエリすると、内部ロックを取得し、インメモリデータ構造を読み取ります。このアクティビティは、ビジークラスターのスケジューラのパフォーマンスに影響を与える可能性があります。Slurm メトリクスガイドでは、パフォーマンスへの影響を最小限に抑えるために 60～120 秒のスクレイプ間隔を推奨しています。

サポートされているスクレイプ設定オプションの詳細については、Amazon CloudWatch ユーザーガイド」の「スクレイパー設定」を参照してください。

メトリクス配信の検証

スクレイパーACTIVEのステータスに達すると、最初のデータポイントが約 1 スクレイプ間隔に配信時間を加えた後に表示されます。送信先に一致する検証方法を使用します。

Amazon Managed Service for Prometheus ワークスペースへの配信を確認する

SigV4-signedリクエストを送信して、ワークスペースから使用可能なメトリクス名を一覧表示します。

awscurl --service aps --region region \
    "https://aps-workspaces.region.amazonaws.com/workspaces/workspace-id/api/v1/label/__name__/values"

呼び出し元のプリンシパルには、 aps:QueryMetricsと aps:GetLabels アクセス許可 (または AmazonPrometheusQueryAccess管理ポリシー) が必要です。

CloudWatch データセットへの配信を検証する

SigV4-signedリクエストを送信して、CloudWatch データセットから使用可能なメトリクス名を一覧表示します。

awscurl --service monitoring --region region \
    "https://monitoring.region.amazonaws.com/api/v1/label/__name__/values"

呼び出し元のプリンシパルには、 cloudwatch:GetMetricDataと cloudwatch:ListMetrics アクセス許可が必要です。

どちらの送信先でも、、slurm_nodes、 slurm_jobs_runningなどslurm_、 で始まるメトリクス名を探しますslurm_node_cpus。Slurm メトリクスが表示されない場合は、以下を確認します。

を使用してSlurmメトリクスをクエリする PromQL

を使用して、収集されたSlurmメトリクスをクエリしますPromQL。同じクエリがどちらの送信先でも機能します。クエリ方法は、メトリクスを配信した場所によって異なります。

Amazon Managed Service for Prometheus ワークスペースをクエリする

次の例ではawscurl、 を使用して Amazon Managed Service for Prometheus ワークスペースから実行中のジョブをクエリします。

awscurl --service aps --region region \
    -X POST "https://aps-workspaces.region.amazonaws.com/workspaces/workspace-id/api/v1/query" \
    -H "Content-Type: application/x-www-form-urlencoded" \
    -d "query=slurm_jobs_running"

呼び出し元プリンシパルには、aps:QueryMetrics、aps:GetMetricMetadata、aps:GetSeries、および アクセスaps:GetLabels許可 (または AmazonPrometheusQueryAccessマネージドポリシー) が必要です。

CloudWatch データセットをクエリする

次の例ではawscurl、 を使用して CloudWatch データセットから実行中のジョブをクエリします。

awscurl --service monitoring --region region \
    -X POST "https://monitoring.region.amazonaws.com/api/v1/query" \
    -H "Content-Type: application/x-www-form-urlencoded" \
    -d "query=slurm_jobs_running"

呼び出し元のプリンシパルには、 cloudwatch:GetMetricDataと cloudwatch:ListMetrics アクセス許可が必要です。

PromQL クエリの例

次のクエリは、どちらの送信先でも機能します。my-cluster-name を、スクレイプ設定のラベルcluster変更で設定した値に置き換えます。

使用可能なメトリクスとスクレイピング設定の詳細については、 Slurmウェブサイトの「 メトリクスガイド」を参照してください。