收集 Slurm 使用托管的指标 Prometheus 收藏家

在 AWS PCS 集群上启用Slurm指标后（参见Slurm 中的指标 AWS 个），您可以使用托管Prometheus收集器自动抓取指标终端节点并提供数据以供PromQL查询。托管收集器在您的 VPC 子网中创建弹性网络接口，以通过端口 6817 访问集群控制器的指标终端节点。

收集器可以将指标传送到以下任一目的地：

无论选择哪个目标，集群端配置（Slurm设置、控制器目标、安全组和抓取配置）都是相同的。只有创建抓取器请求中的destination区块和查询端点不同。

您可以使用aws amp create-scraper命令创建收集器。尽管此命令属于 amp CLI 命名空间，但它支持这两个目标。

有关 VPC-connected 托管收集器的更多信息，请参阅《亚马逊 CloudWatch 用户指南》中的设置 VPC-connected 托管收集器。

先决条件

在配置托管收集器之前，请验证以下内容：

为收集器配置安全组

我们建议为托管收集器创建专用的安全组，而不是重复使用现有的安全组。专门的小组为您提供遵循最小权限原则的明确、可审计的规则。

以下过程使用 shell 变量作为安全组 ID。在运行命令之前设置以下变量：

aws amp create-scraper \
    --source '{"vpcConfiguration":{"subnetIds":["subnet-id-1","subnet-id-2"],"securityGroupIds":["sg-0abc1234def56789a"]}}' \
    ...

有关安全组规则的更多信息，请参阅Amazon VPC 用户指南中的安全组规则。

创建托管收集器

使用创建 VPC-connected 托管收集器，该 AWS CLI 收集器会抓取您的集群控制器并将指标传送到您选择的目的地。

查找集群控制器终端节点

抓取配置需要您的 AWS PCS 集群控制器的私有 IP 地址。使用以下方法之一进行查找。

建议的抓取配置

以下 YAML 配置从集群控制器中抓取了四个Slurm指标终端节点（作业、节点、调度程序和分区）。每个终端节点都被定义为一项单独的任务，因此您可以在查询中按来源识别指标。

global:
  scrape_interval: 60s
  scrape_timeout: 30s

scrape_configs:
  - job_name: 'slurm-jobs'
    metrics_path: /metrics/jobs
    static_configs:
      - targets:
          - 'controller-endpoint:6817'
    relabel_configs:
      - target_label: cluster
        replacement: 'my-cluster-name'

  - job_name: 'slurm-nodes'
    metrics_path: /metrics/nodes
    static_configs:
      - targets:
          - 'controller-endpoint:6817'
    relabel_configs:
      - target_label: cluster
        replacement: 'my-cluster-name'

  - job_name: 'slurm-scheduler'
    metrics_path: /metrics/scheduler
    static_configs:
      - targets:
          - 'controller-endpoint:6817'
    relabel_configs:
      - target_label: cluster
        replacement: 'my-cluster-name'

  - job_name: 'slurm-partitions'
    metrics_path: /metrics/partitions
    static_configs:
      - targets:
          - 'controller-endpoint:6817'
    relabel_configs:
      - target_label: cluster
        replacement: 'my-cluster-name'

进行如下替换：

托管收集scrape_interval器的最小值为 30 秒。此配置使用 60 秒，因为抓取会给Slurm控制器带来负载 (slurmctld)。查询指标会获取内部锁定并读取内存中的数据结构。此活动可能会影响繁忙集群上的调度程序性能。《Slurm指标指南》建议采集间隔为 60—120 秒，以最大限度地减少对性能的影响。

有关支持的抓取配置选项的更多信息，请参阅亚马逊 CloudWatch 用户指南中的抓取器配置。

验证指标交付

抓取器达到ACTIVE状态后，第一个数据点大约在一个抓取间隔加上交付时间后出现。使用与您的目的地相匹配的验证方法。

验证向适用于 Prometheus 的亚马逊托管服务工作空间的配送

发送 SigV4-signed 请求以列出工作空间中的可用指标名称：

awscurl --service aps --region region \
    "https://aps-workspaces.region.amazonaws.com/workspaces/workspace-id/api/v1/label/__name__/values"

呼叫主体需求aps:QueryMetrics和aps:GetLabels权限（或AmazonPrometheusQueryAccess托管策略）。

验证 CloudWatch 数据集的交付

发送 SigV4-signed 请求以列出 CloudWatch数据集中的可用指标名称：

awscurl --service monitoring --region region \
    "https://monitoring.region.amazonaws.com/api/v1/label/__name__/values"

呼叫主体的需求cloudwatch:GetMetricData和cloudwatch:ListMetrics权限。

对于任一目的地，查找以开头的指标名称 slurm_slurm_nodes，例如slurm_jobs_running、或slurm_node_cpus。如果未显示任何Slurm指标，请验证以下内容：

Query Slurm 指标有 PromQL

您可以使用查询收集的Slurm指标PromQL。同样的查询适用于任一目的地。查询方法取决于您交付指标的位置。

查询 Prometheus 工作空间的亚马逊托管服务

以下示例用于awscurl从适用于 Prometheus 的亚马逊托管服务工作空间中查询正在运行的任务：

awscurl --service aps --region region \
    -X POST "https://aps-workspaces.region.amazonaws.com/workspaces/workspace-id/api/v1/query" \
    -H "Content-Type: application/x-www-form-urlencoded" \
    -d "query=slurm_jobs_running"

呼叫主体需要aps:QueryMetricsaps:GetMetricMetadata、aps:GetSeries、和aps:GetLabels权限（或AmazonPrometheusQueryAccess托管策略）。

查询 CloudWatch 数据集

以下示例用于awscurl从 CloudWatch数据集中查询正在运行的作业：

awscurl --service monitoring --region region \
    -X POST "https://monitoring.region.amazonaws.com/api/v1/query" \
    -H "Content-Type: application/x-www-form-urlencoded" \
    -d "query=slurm_jobs_running"

呼叫主体的需求cloudwatch:GetMetricData和cloudwatch:ListMetrics权限。

示例 PromQL 查询

以下查询适用于任一目的地。my-cluster-name替换为您在抓取配置的cluster重新标签中设置的值。

有关可用指标和抓取配置的更多信息，请参阅Slurm网站上的指标指南。