Verwenden Sie Amazon Managed Service for Prometheus, um Flink-Jobs zu überwachen - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden Sie Amazon Managed Service for Prometheus, um Flink-Jobs zu überwachen

Sie können Apache Flink in Amazon Managed Service für Prometheus (Verwaltungsportal) integrieren. Amazon Managed Service for Prometheus unterstützt die Erfassung von Metriken von Amazon Managed Service for Prometheus-Servern in Clustern, die auf Amazon ausgeführt werden. EKS Amazon Managed Service for Prometheus arbeitet mit einem Prometheus-Server zusammen, der bereits auf Ihrem Amazon-Cluster läuft. EKS Beim Ausführen der Amazon Managed Service for Prometheus-Integration mit Amazon EMR Flink Operator wird automatisch ein Prometheus-Server für die Integration mit Amazon Managed Service for Prometheus bereitgestellt und konfiguriert.

  1. Einen Workspace von Amazon Managed Service für Prometheus erstellen. Dieser Workspace dient als Aufnahme-Endpunkt. Sie benötigen den Remote-Schreibvorgang später. URL

  2. Richten Sie IAM Rollen für Dienstkonten ein.

    Verwenden Sie für diese Onboarding-Methode IAM Rollen für die Dienstkonten im EKS Amazon-Cluster, in dem der Prometheus-Server läuft. Diese Rollen werden als Servicerollen bezeichnet.

    Wenn Sie die Rollen noch nicht haben, richten Sie Servicerollen für die Erfassung von Metriken aus EKS Amazon-Clustern ein.

    Bevor Sie fortfahren, erstellen Sie eine IAM Rolle mit dem Namen. amp-iamproxy-ingest-role

  3. Installieren Sie den Amazon EMR Flink Operator mit Amazon Managed Service für Prometheus.

Da Sie nun über einen Amazon Managed Service for Prometheus Workspace, eine spezielle IAM Rolle für Amazon Managed Service for Prometheus und die erforderlichen Berechtigungen verfügen, können Sie den Amazon Flink-Operator installieren. EMR

Erstellen Sie eine Datei enable-amp.yaml. Mit dieser Datei können Sie eine benutzerdefinierte Konfiguration verwenden, um die Einstellungen von Amazon Managed Service für Prometheus zu überschreiben. Stellen Sie sicher, dass Sie Ihre eigenen Rollen verwenden.

kube-prometheus-stack:
    prometheus:
    serviceAccount:
        create: true
        name: "amp-iamproxy-ingest-service-account"
        annotations:
            eks.amazonaws.com/role-arn: "arn:aws:iam::<AWS_ACCOUNT_ID>:role/amp-iamproxy-ingest-role"
    remoteWrite:
        - url: <AMAZON_MANAGED_PROMETHEUS_REMOTE_WRITE_URL>
        sigv4:
            region: <AWS_REGION>
        queueConfig:
            maxSamplesPerSend: 1000
            maxShards: 200
            capacity: 2500

Verwenden Sie den Helm Install --set-Befehl, um Überschreibungen an das flink-kubernetes-operator-Diagramm zu übergeben.

helm upgrade -n <namespace> flink-kubernetes-operator \
   oci://public.ecr.aws/emr-on-eks/flink-kubernetes-operator \
   --set prometheus.enabled=true
   -f enable-amp.yaml

Dieser Befehl installiert automatisch einen Prometheus-Reporter im Operator auf Port 9999. In Any Future wird FlinkDeployment auch ein metrics Port auf 9249 verfügbar gemacht.

  • Die Metriken für Flink-Operatoren werden in Prometheus unter der Kennung flink_k8soperator_ angezeigt.

  • Die Metriken für Flink-Task-Manager werden in Prometheus unter der Kennung flink_taskmanager_ angezeigt.

  • Die Metriken für Flink-Aufgaben-Manager werden in Prometheus unter der Kennung flink_jobmanager_ angezeigt.