AWS Controllers for Kubernetes を使用して Amazon Managed Service for Prometheus を管理する

以下のコマンドを実行し、Helm を使用して Amazon Managed Service for Prometheus サービスコントローラーをインストールします。詳細については、GitHub にある AWS Controllers for Kubernetes ドキュメントの「Install an ACK Controller」を参照してください。region には、us-east-1 など、システムに適したリージョンを使用してください。

export SERVICE=prometheusservice
export RELEASE_VERSION=`curl -sL https://api.github.com/repos/aws-controllers-k8s/$SERVICE-controller/releases/latest | grep '"tag_name":' | cut -d'"' -f4`
export ACK_SYSTEM_NAMESPACE=ack-system
export AWS_REGION=region

aws ecr-public get-login-password --region us-east-1 | helm registry login --username AWS --password-stdin public.ecr.aws
helm install --create-namespace -n $ACK_SYSTEM_NAMESPACE ack-$SERVICE-controller \
  oci://public.ecr.aws/aws-controllers-k8s/$SERVICE-chart --version=$RELEASE_VERSION --set=aws.region=$AWS_REGION

しばらくすると、成功を示す次のようなレスポンスが表示されます。

You are now able to create Amazon Managed Service for Prometheus (AMP) resources!
The controller is running in "cluster" mode.
The controller is configured to manage AWS resources in region: "us-east-1"

必要に応じて、次のコマンドを使用すると、AWS Controllers for Kubernetes のコントローラーが正常にインストールされていることを確認できます。

helm list --namespace $ACK_SYSTEM_NAMESPACE -o yaml

これにより、コントローラー ack-prometheusservice-controller に関する情報 (status: deployed など) が返されます。

workspace.yaml という名前のファイルを作成し、次のテキストを記述します。これは、作成するワークスペースの設定として使用されます。

apiVersion: prometheusservice.services.k8s.aws/v1alpha1
kind: Workspace
metadata:
  name: my-amp-workspace
spec:
  alias: my-amp-workspace
  tags:
    ClusterName: EKS-demo

次のコマンドを実行してワークスペースを作成します (このコマンドでは、ステップ 1 で設定したシステム変数が使用されます)。

kubectl apply -f workspace.yaml -n $ACK_SYSTEM_NAMESPACE

しばらくすると、アカウントに my-amp-workspace という新しいワークスペースが表示されます。

次のコマンドを実行して、ワークスペース ID などのワークスペースの詳細とステータスを確認します。または、Amazon Managed Service for Prometheus コンソールで新しいワークスペースを確認することもできます。

kubectl describe workspace my-amp-workspace -n $ACK_SYSTEM_NAMESPACE

この後で作成する Rulegroups と AlertManager の設定として、2 つの新しい yaml ファイルを以下に示す内容で作成します。

次の設定を rulegroup.yaml として保存します。WORKSPACE-ID は、前のステップで確認したワークスペース ID に置き換えます。

apiVersion: prometheusservice.services.k8s.aws/v1alpha1
kind: RuleGroupsNamespace
metadata:
  name: default-rule
spec:
  workspaceID: WORKSPACE-ID
  name: default-rule
  configuration: |
    groups:
    - name: example
      rules:
      - alert: HostHighCpuLoad
        expr: 100 - (avg(rate(node_cpu_seconds_total{mode="idle"}[2m])) * 100) > 60
        for: 5m
        labels:
          severity: warning
          event_type: scale_up
        annotations:
          summary: Host high CPU load (instance {{ $labels.instance }})
          description: "CPU load is > 60%\n  VALUE = {{ $value }}\n  LABELS = {{ $labels }}"
      - alert: HostLowCpuLoad
        expr: 100 - (avg(rate(node_cpu_seconds_total{mode="idle"}[2m])) * 100) < 30
        for: 5m
        labels:
          severity: warning
          event_type: scale_down
        annotations:
          summary: Host low CPU load (instance {{ $labels.instance }})
          description: "CPU load is < 30%\n  VALUE = {{ $value }}\n  LABELS = {{ $labels }}"

次の設定を alertmanager.yaml として保存します。WORKSPACE-ID は、前のステップで確認したワークスペース ID に置き換えます。TOPIC-ARN は、通知の送信先となる Amazon SNS トピックの ARN に置き換えます。REGION は、使用している AWS リージョンに置き換えます。Amazon Managed Service for Prometheus に、Amazon SNS トピックへのアクセス許可が必要であることを忘れないでください。

apiVersion: prometheusservice.services.k8s.aws/v1alpha1
kind: AlertManagerDefinition
metadata:
  name: alert-manager
spec:
  workspaceID: WORKSPACE-ID
  configuration: |
    alertmanager_config: |
      route:
         receiver: default_receiver
      receivers:
        - name: default_receiver
          sns_configs:
          - topic_arn: TOPIC-ARN
            sigv4:
              region: REGION
            message: |
              alert_type: {{ .CommonLabels.alertname }}
              event_type: {{ .CommonLabels.event_type }}

次のコマンドを実行して、ルールグループとアラートマネージャーの設定を作成します (このコマンドでは、ステップ 1 で設定したシステム変数が使用されます)。

kubectl apply -f rulegroup.yaml -n $ACK_SYSTEM_NAMESPACE
kubectl apply -f alertmanager.yaml -n $ACK_SYSTEM_NAMESPACE

しばらくすると変更が有効になります。

kubectl delete ResourceType ResourceName -n $ACK_SYSTEM_NAMESPACE

次のコマンドを使用して、ワークスペースの prometheusEndpoint を取得します。WORKSPACE-ID は、前のセクションで確認したワークスペース ID に置き換えます。

aws amp describe-workspace --workspace-id WORKSPACE-ID

返される結果には prometheusEndpoint が含まれ、次のような形式になります。

https://aps-workspaces.us-west-2.amazonaws.com/workspaces/ws-a1b2c3d4-a123-b456-c789-ac1234567890/

後のステップで使用するために、この URL を保存しておきます。

次のテキストで新しいファイルを作成し、prometheus-config.yaml という名前を付けます。account は自分のアカウント ID に、workspaceURL/ は先ほど確認した URL に、region はシステムの適切な AWS リージョンに置き換えます。

serviceAccounts:
        server:
            name: "amp-iamproxy-ingest-service-account"
            annotations:
                eks.amazonaws.com/role-arn: "arn:aws:iam::account:role/amp-iamproxy-ingest-role"
server:
    remoteWrite:
        - url: workspaceURL/api/v1/remote_write
          sigv4:
            region: region
          queue_config:
            max_samples_per_send: 1000
            max_shards: 200
            capacity: 2500

次の Helm コマンドを使用して、Prometheus のチャート名、名前空間の名前、チャートのバージョンを確認します。

helm ls --all-namespaces

ここまでの手順に基づくと、Prometheus チャートと名前空間にはどちらも prometheus という名前が付いていて、チャートのバージョンは 15.2.0 のようになります。

前のステップで確認した PrometheusChartName、PrometheusNamespace、PrometheusChartVersion を使用して、次のコマンドを実行します。

helm upgrade PrometheusChartName prometheus-community/prometheus -n PrometheusNamespace -f prometheus-config.yaml --version PrometheusChartVersion

数分後に、アップグレードが成功したことを示すメッセージが表示されます。

必要に応じて、awscurl を使用して Amazon Managed Service for Prometheus エンドポイントにクエリを実行して、メトリクスが正常に送信されていることを確認します。Region は使用中の AWS リージョンに、workspaceURL/ はステップ 1 で確認した URL に置き換えます。

awscurl --service="aps" --region="Region" "workspaceURL/api/v1/query?query=node_cpu_seconds_total"