Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

CloudWatch Lösung: Kafka-Workload auf Amazon EC2

Mit dieser Lösung können Sie die Erfassung von out-of-the-box Metriken mithilfe von CloudWatch Agenten für Kafka-Workloads (Broker, Produzenten und Verbraucher) konfigurieren, die auf Instances ausgeführt werden. EC2 Darüber hinaus hilft sie Ihnen bei der Einrichtung eines vorkonfigurierten CloudWatch Dashboards. Allgemeine Informationen zu allen CloudWatch Observability-Lösungen finden Sie unter. CloudWatch Observability-Lösungen

Voraussetzungen

Diese Lösung ist für die folgenden Bedingungen relevant:

Vorteile

Die Lösung ermöglicht die Überwachung von Kafka-Servern und bietet wertvolle Erkenntnisse für die folgenden Anwendungsfälle:

Im Folgenden sind die wichtigsten Vorteile der Lösung aufgeführt:

Die folgende Abbildung zeigt ein Beispiel für das Dashboard für diese Lösung.

Kosten

Diese Lösung erstellt und verwendet Ressourcen in Ihrem Konto. Ihnen wird die Standardnutzung in Rechnung gestellt, einschließlich der folgenden Kosten:

Weitere Informationen zur CloudWatch Preisgestaltung finden Sie unter CloudWatch Amazon-Preise.

Mit dem Preisrechner können Sie die ungefähren monatlichen Kosten für die Nutzung dieser Lösung abschätzen.

CloudWatch Agentenkonfiguration für diese Lösung

Der CloudWatch Agent ist eine Software, die kontinuierlich und autonom auf Ihren Servern und in containerisierten Umgebungen ausgeführt wird. Es sammelt Metriken, Logs und Traces aus Ihrer Infrastruktur und Ihren Anwendungen und sendet sie an CloudWatch X-Ray.

Weitere Informationen über den CloudWatch Agenten finden Sie unterErfassen Sie mit dem CloudWatch Agenten Metriken, Logs und Traces.

Die Agentenkonfiguration in dieser Lösung erfasst die grundlegenden Metriken für KafkaJVM, und. EC2 Der CloudWatch Agent kann so konfiguriert werden, dass er standardmäßig mehr Kafka und JVM Metriken sammelt, als das Dashboard anzeigt. Eine Liste der EC2 Metriken finden Sie unterVom CloudWatch Agenten auf Linux- und macOS-Instances gesammelte Metriken.

Stellen Sie JMX Ports für die Rollen Broker, Producer und Consumer von Kafka zur Verfügung

Der CloudWatch Makler stützt sich daraufJMX, die Kennzahlen zu den Maklern, Produzenten und Verbrauchern von Kafka zu sammeln. Um dies zu ermöglichen, müssen Sie den JMX Port auf Ihren Servern und Anwendungen verfügbar machen.

Bei Kafka-Brokern müssen Sie die JMX_PORT Umgebungsvariable verwenden, um den Port festzulegen. Sie müssen die Broker neu starten, nachdem Sie diese Umgebungsvariable festgelegt haben. Sehen Sie sich die Startskripts und Konfigurationsdateien Ihrer Anwendung an, um den besten Ort für das Hinzufügen dieser Argumente zu finden.

Für Linux- und macOS-Systeme können Sie beispielsweise den folgenden Befehl verwenden, um den JMX Port festzulegen. Achten Sie darauf, eine ungenutzte Portnummer anzugeben.

export JMX_PORT=port-number

Für Kafka-Produzenten und -Anwender hängen die Anweisungen zur Bereitstellung des JMX Ports vom Workload-Typ ab, den Sie für Ihre Producer- oder JVM Consumer-Anwendung verwenden. Diese Anweisungen finden Sie in der Dokumentation zu Ihrer Anwendung.

Um einen JMX Port für die Überwachung und Verwaltung zu aktivieren, müssen Sie im Allgemeinen die folgenden Systemeigenschaften für Ihre JVM Anwendung festlegen. Im folgenden Beispiel wird „Nicht authentifiziertJMX“ eingerichtet. Wenn Ihre Sicherheitsrichtlinien/Anforderungen eine Aktivierung JMX mit Kennwortauthentifizierung oder SSL für den Fernzugriff erfordern, finden Sie in der JMXDokumentation nach, um die erforderliche Eigenschaft festzulegen.

-Dcom.sun.management.jmxremote
-Dcom.sun.management.jmxremote.port=port-number
-Dcom.sun.management.jmxremote.authenticate=false 
-Dcom.sun.management.jmxremote.ssl=false

Führen Sie den Befehl aus, um den JMX Port zu überprüfen. ps aux | grep jmxremote.port Die Ergebnisse sollten zeigen, dass der JMX Port für die JVM Prozesse festgelegt wurde.

Agentenkonfiguration für diese Lösung

Die vom Agenten gesammelten Metriken sind in der Agentenkonfiguration definiert. Die Lösung bietet Agentenkonfigurationen zur Erfassung der empfohlenen Metriken mit geeigneten Dimensionen für das Dashboard der Lösung. Jede Kafka-Rolle, z. B. Makler, Produzent oder Verbraucher, verfügt über eine eigene Agentenkonfiguration, die die Erfassung von Kafka-Metriken JVM und EC2 zugrunde liegenden Metriken ermöglicht.

Die Schritte zur Bereitstellung der Lösung werden weiter unten in beschrieben. Stellen Sie den Agenten für Ihre Lösung bereit Die folgenden Informationen sollen Ihnen helfen zu verstehen, wie Sie die Agentenkonfiguration an Ihre Umgebung anpassen können.

Sie müssen einige Teile der folgenden Agentenkonfiguration an Ihre Umgebung anpassen:

Wenn Sie beispielsweise zwei Kafka-Cluster auf demselben Konto ausführen, einen für die order-processing Anwendung und einen für die inventory-management Anwendung, sollten Sie die ProcessGroupName Dimensionen ClusterName und in der Agentenkonfiguration der Broker-Instance entsprechend festlegen.

Wenn Sie die oben genannten Dimensionen korrekt festgelegt haben, gruppiert das Lösungs-Dashboard die Metriken automatisch auf der Grundlage der ConsumerGroupName Dimensionen ClusterNameProducerGroupName, und. Das Dashboard wird Drop-down-Optionen enthalten, mit denen Sie Metriken für bestimmte Cluster und Gruppen auswählen und anzeigen können, sodass Sie die Leistung einzelner Cluster und Gruppen separat überwachen können.

Stellen Sie sicher, dass Sie die entsprechende Agentenkonfiguration auf den richtigen EC2 Instanzen bereitstellen. Jede Konfiguration wird als separater Parameter im SSM Parameterspeicher gespeichert, wie weiter unten beschriebenSchritt 2: Speichern Sie die empfohlene CloudWatch Agentenkonfigurationsdatei im Systems Manager Parameter Store.

Die folgenden Anweisungen beschreiben die Situation, in der die Rollen Producer, Consumer und Broker auf separaten EC2 Instanzen bereitgestellt werden, ohne dass es zu Überschneidungen kommt. Wenn Sie mehrere Kafka-Rollen auf denselben EC2 Instanzen ausführen, finden Sie Konfigurieren Sie den Agenten für mehrere Kafka-Rollen auf derselben Instanz weitere Informationen unter.

Agentenkonfiguration für Kafka-Broker-Agenten

Verwenden Sie die folgende CloudWatch Agentenkonfiguration für EC2 Instanzen, in denen Kafka-Broker-Agenten eingesetzt werden. Ersetzen ClusterName mit dem Namen des Clusters, der verwendet werden soll, um diese Metriken für eine einheitliche Ansicht zu gruppieren. Der Wert, den Sie angeben für ClusterName wird sowohl als ClusterName Dimension als auch als ProcessGroupName Dimension verwendet. Ersetzen port-number mit dem JMX Port Ihres Kafka-Servers.

Die in dieser Konfiguration angezeigten EC2 Metriken (Konfiguration, die außerhalb des JMX Blocks angezeigt wird) funktionieren nur für Linux- und macOS-Instanzen. Wenn Sie Windows-Instanzen verwenden, können Sie diese Metriken in der Konfiguration weglassen. Informationen zu Messwerten, die auf Windows-Instanzen erfasst wurden, finden Sie unterVom CloudWatch Agenten auf Windows Server-Instanzen gesammelte Metriken.

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka": {
            "measurement": [
              "kafka.request.time.avg",
              "kafka.request.failed",
              "kafka.request.count",
              "kafka.purgatory.size",
              "kafka.partition.under_replicated",
              "kafka.partition.offline",
              "kafka.network.io",
              "kafka.leader.election.rate",
              "kafka.isr.operation.count"
            ]
          },
          "append_dimensions": {
            "ClusterName": "ClusterName"
          }
        },
        {
          "endpoint": "localhost:port-number",
          "jvm": {
            "measurement": [
              "jvm.classes.loaded",
              "jvm.gc.collections.count",
              "jvm.gc.collections.elapsed",
              "jvm.memory.heap.committed",
              "jvm.memory.heap.max",
              "jvm.memory.heap.used",
              "jvm.memory.nonheap.committed",
              "jvm.memory.nonheap.max",
              "jvm.memory.nonheap.used",
              "jvm.threads.count"
            ]
          },
          "append_dimensions": {
            "ProcessGroupName": "ClusterName"
          }
        }
      ],
      "disk": {
        "measurement": [
          "used_percent"
        ]
      },
      "mem": {
        "measurement": [
          "used_percent"
        ]
      },
      "swap": {
        "measurement": [
          "used_percent"
        ]
      },
      "netstat": {
        "measurement": [
          "tcp_established",
          "tcp_time_wait"
        ]
      }
    }
  }
}

Agentenkonfiguration für Kafka-Produzenten

Verwenden Sie die folgende CloudWatch Agentenkonfiguration auf EC2 Amazon-Instances, in denen Kafka-Produzenten eingesetzt werden. Ersetzen ProducerGroupName mit dem Namen der Anwendung oder Gruppe, die Sie verwenden möchten, um Ihre Metriken für eine einheitliche Ansicht zu gruppieren. Ersetzen port-number mit dem JMX Port Ihrer Kafka-Producer-Anwendung.

Die Lösung aktiviert keine JVM Metriken für Kafka-Produzenten, da das Lösungs-Dashboard keine JVM Metriken anzeigt, die sich auf Kafka-Produzenten beziehenJVM. Sie können die Agentenkonfiguration so anpassen, dass auch JVM Metriken ausgegeben werden. JVM Metriken, die sich auf Produzenten beziehen, sind jedoch im Lösungs-Dashboard nicht sichtbar.

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-producer": {
            "measurement": [
              "kafka.producer.request-rate",
              "kafka.producer.byte-rate",
              "kafka.producer.request-latency-avg",
              "kafka.producer.response-rate",
              "kafka.producer.record-error-rate",
              "kafka.producer.record-send-rate"
            ]
          },
          "append_dimensions": {
            "ProducerGroupName": "ProducerGroupName"
          }
        }
      ]
    }
  }
}

Agentenkonfiguration für Kafka-Verbraucher

Verwenden Sie die folgende CloudWatch Agentenkonfiguration für EC2 Instanzen, auf denen Kafka-Consumer ausgeführt werden. Ersetzen ConsumerGroupName mit dem Namen der Anwendung oder Gruppe, die verwendet werden soll, um diese Metriken für eine einheitliche Ansicht zu gruppieren. Ersetzen port-number mit dem JMX Port Ihrer Kafka-Consumer-Anwendung.

Die Lösung aktiviert keine JVM Kennzahlen für Kafka-Verbraucher, da das Lösungs-Dashboard keine JVM Kennzahlen JVM für Verbraucher anzeigt. Sie können die Agentenkonfiguration so anpassen, dass auch JVM Metriken ausgegeben werden. JVM Metriken, die sich auf den Verbraucher beziehen, sind jedoch im Lösungs-Dashboard nicht sichtbar.

{
  "metrics": {
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-consumer": {
            "measurement": [
              "kafka.consumer.fetch-rate",
              "kafka.consumer.total.bytes-consumed-rate",
              "kafka.consumer.records-consumed-rate",
              "kafka.consumer.bytes-consumed-rate",
              "kafka.consumer.records-lag-max"
            ]
          },
          "append_dimensions": {
            "ConsumerGroupName": "ConsumerGroupName"
          }
        }
      ]
    }
  }
}

Stellen Sie den Agenten für Ihre Lösung bereit

Je nach Anwendungsfall gibt es mehrere Ansätze für die Installation des CloudWatch Agenten. Wir empfehlen die Verwendung von Systems Manager für diese Lösung. Es bietet eine Konsolenerfahrung und erleichtert die Verwaltung einer Flotte verwalteter Server innerhalb eines einzigen AWS Kontos. Die Anweisungen in diesem Abschnitt verwenden Systems Manager und sind für den Fall vorgesehen, dass der CloudWatch Agent nicht mit vorhandenen Konfigurationen ausgeführt wird. Sie können überprüfen, ob der CloudWatch Agent ausgeführt wird, indem Sie die Schritte unter befolgenStellen Sie sicher, dass der CloudWatch Agent läuft.

Wenn Sie den CloudWatch Agenten bereits auf den EC2 Hosts ausführen, auf denen der Workload bereitgestellt wird, und die Agentenkonfigurationen verwalten, können Sie die Anweisungen in diesem Abschnitt überspringen und Ihren vorhandenen Bereitstellungsmechanismus verwenden, um die Konfiguration zu aktualisieren. Stellen Sie sicher, dass Sie die Agentenkonfiguration entsprechend der Rolle (Broker, Producer oder Consumer) mit Ihrer vorhandenen Agentenkonfiguration zusammenführen und dann die zusammengeführte Konfiguration bereitstellen. Wenn Sie Systems Manager verwenden, um die Konfiguration für den CloudWatch Agenten zu speichern und zu verwalten, können Sie die Konfiguration mit dem vorhandenen Parameterwert zusammenführen. Weitere Informationen finden Sie unter CloudWatch Agent-Konfigurationsdateien verwalten.

Der Bereitstellungsprozess umfasst die folgenden Schritte:

Sie müssen diese Schritte je nachdem wiederholen, ob Ihr Broker, Producer und Consumer auf derselben EC2 Instance oder auf unterschiedlichen Instances bereitgestellt werden. Wenn beispielsweise der Kafka-Broker, Producer und Consumer auf separaten Instances ohne Überschneidung bereitgestellt werden, müssen Sie diese Schritte dreimal mit den entsprechenden Agentenkonfigurationen für Broker-, Producer- und EC2 Consumer-Instances wiederholen.

Schritt 1: Stellen Sie sicher, dass die EC2 Ziel-Instances über die erforderlichen IAM Berechtigungen verfügen

Sie müssen Systems Manager die Erlaubnis erteilen, den CloudWatch Agenten zu installieren und zu konfigurieren. Sie müssen dem CloudWatch Agenten auch die Erlaubnis erteilen, Telemetriedaten von Ihrer EC2 Instanz an zu CloudWatch veröffentlichen. Stellen Sie sicher, dass der IAM Rolle, die der Instanz zugewiesen ist, die mazonSSMManaged InstanceCore IAM Richtlinien CloudWatchAgentServerPolicyund A angehängt sind.

Schritt 2: Speichern Sie die empfohlene CloudWatch Agentenkonfigurationsdatei im Systems Manager Parameter Store

Parameter Store vereinfacht die Installation des CloudWatch Agenten auf einer EC2 Instanz, indem Konfigurationsparameter sicher gespeichert und verwaltet werden, sodass keine hartcodierten Werte erforderlich sind. Dies gewährleistet einen sichereren und flexibleren Bereitstellungsprozess, ermöglicht eine zentrale Verwaltung und einfachere Aktualisierungen von Konfigurationen über mehrere Instanzen hinweg.

Gehen Sie wie folgt vor, um die empfohlene CloudWatch Agentenkonfigurationsdatei als Parameter im Parameter Store zu speichern.

Schritt 3: Installieren Sie den CloudWatch Agenten und wenden Sie die Konfiguration mithilfe einer Vorlage an AWS CloudFormation

Sie können AWS CloudFormation damit den Agenten installieren und ihn so konfigurieren, dass er die CloudWatch Agentenkonfiguration verwendet, die Sie in den vorherigen Schritten erstellt haben.

Wenn Sie die Vorlagendatei zunächst bearbeiten möchten, um sie anzupassen, wählen Sie unter Assistent zum Erstellen von Stacks die Option Vorlagendatei hochladen, um die bearbeitete Vorlage hochzuladen. Weitere Informationen finden Sie unter Einen Stack auf der AWS CloudFormation Konsole erstellen. Sie können den folgenden Link verwenden, um die Vorlage herunterzuladen: https://aws-observability-solutions.s3.amazonaws.com/CloudWatchAgent/CFN/v1.0.0/cw- agent-installation-template -1.0.0.json.

Schritt 4: Stellen Sie sicher, dass das Agenten-Setup richtig konfiguriert ist

Sie können überprüfen, ob der CloudWatch Agent installiert ist, indem Sie die Schritte unter befolgenStellen Sie sicher, dass der CloudWatch Agent läuft. Wenn der CloudWatch Agent nicht installiert ist und nicht ausgeführt wird, stellen Sie sicher, dass Sie alles richtig eingerichtet haben.

Wenn alles korrekt eingerichtet ist, sollten Sie sehen, wie die Kafka-Metriken veröffentlicht werden. CloudWatch Sie können in der CloudWatch Konsole nachsehen, ob sie veröffentlicht wurden.

Erstellen Sie das Kafka-Lösungs-Dashboard

In diesem Dashboard werden die neu ausgegebenen Metriken sowohl für Kafka als auch für den Basiswert angezeigt. JVM Dieses Dashboard bietet eine Übersicht der wichtigsten Mitwirkenden über den Status Ihrer Kafka-Workload, unabhängig von Herstellern, Maklern und Verbrauchern. In der Ansicht mit den meisten Mitwirkenden werden die 10 wichtigsten Widgets pro Metrik angezeigt. So können Sie Ausreißer auf einen Blick erkennen.

Das Lösungs-Dashboard zeigt keine EC2 Metriken an. Um EC2 Metriken anzuzeigen, müssen Sie das EC2 automatische Dashboard verwenden, um die EC2 Verkaufsmetriken zu sehen, und das EC2 Konsolen-Dashboard verwenden, um die vom CloudWatch Agenten gesammelten EC2 Metriken zu sehen. Weitere Informationen zu automatischen Dashboards für AWS Dienste finden Sie unter. Ein CloudWatch Dashboard für ein einzelnes anzeigen AWS Service nicht zulässig

Um das Dashboard zu erstellen, können Sie die folgenden Optionen verwenden:

Wenn Sie die CloudWatch Konsole zum Erstellen eines Dashboards verwenden, können Sie eine Vorschau des Dashboards anzeigen, bevor Sie es erstellen und bezahlen.

Wenn Sie die Vorlagendatei bearbeiten möchten, um sie für einen beliebigen Zweck anzupassen, können Sie die bearbeitete Vorlage mithilfe der Option Vorlagendatei hochladen unter dem Assistenten zum Erstellen von Stacks hochladen. Weitere Informationen finden Sie unter Einen Stack auf der AWS CloudFormation Konsole erstellen. Sie können diesen Link verwenden, um die Vorlage herunterzuladen: https://aws-observability-solutions.s3.amazonaws.com/Kafka_EC2/CloudWatch/CFN/v1.0.0/dashboard-template-1.0.0.json.

Beginnen Sie mit dem Kafka-Dashboard

Hier sind ein paar Aufgaben, die Sie mit dem neuen Kafka-Dashboard ausprobieren können. Mit diesen Aufgaben können Sie überprüfen, ob das Dashboard ordnungsgemäß funktioniert, und Sie erhalten praktische Erfahrungen mit der Überwachung eines Kafka-Clusters. Wenn Sie diese ausprobieren, werden Sie sich mit der Navigation im Dashboard und der Interpretation der visualisierten Metriken vertraut machen.

Verwenden Sie die Drop-down-Listen

Das Dashboard bietet oben Dropdownlisten, mit denen Sie die spezifischen Kafka-Cluster-, Producer- und Consumer-Gruppen, die Sie überwachen möchten, filtern und auswählen können.

Überprüfen Sie den Zustand des Clusters

Suchen Sie im Abschnitt Cluster-Übersicht nach den Widgets Partitionen unter replizierten und Synchronisierten Replikaten. Diese sollten idealerweise Null oder eine kleine Zahl sein. Ein großer Wert für eine dieser Metriken könnte auf Probleme mit dem Kafka-Cluster hinweisen, die untersucht werden müssen.

Untersuchen Sie die Leistung des Bro

Suchen Sie im Abschnitt Brokers nach den Widgets Fehlgeschlagene Abrufanforderungen und Fehlgeschlagene Produzentenanfragen. Diese zeigen die Anzahl der fehlgeschlagenen Anfragen für Abruf- bzw. Produktionsvorgänge an. Hohe Ausfallraten könnten auf Probleme mit den Brokern oder der Netzwerkkonnektivität hinweisen, die weitere Untersuchungen erfordern.

Überwachen Sie die Leistung der Hersteller

Suchen Sie im Abschnitt „Übersicht über die Produzentengruppe“ nach den Widgets „Durchschnittliche Anforderungsrate“, „Durchschnittliche Anforderungslatenz“ und „Durchschnittliche Übertragungs-/Fehlerrate von Datensätzen“. Diese geben dir einen Überblick darüber, wie die Produzenten in der ausgewählten Gruppe abschneiden. Im Bereich Produzenten kannst du dir auch detaillierte Statistiken zu bestimmten Produzenten und Themen ansehen.

Überwachen Sie den Rückstand der Verbraucher

Suchen Sie im Bereich Consumer Group Overview nach dem Widget Consumer Lag. Dies zeigt, wie weit die Verbraucher bei der Verarbeitung von Nachrichten aus den neuesten Offsets in den Partitionen, die sie abonniert haben, im Rückstand sind. Im Idealfall sollte die Verzögerung bei den Verbrauchern gering oder gleich Null sein. Ein großer Rückstand bei den Verbrauchern könnte darauf hindeuten, dass die Verbraucher nicht in der Lage sind, mit der Geschwindigkeit der Datenproduktion Schritt zu halten, was zu Datenverlusten oder Verzögerungen bei der Verarbeitung führen könnte. Im Bereich Verbraucher können Sie sich auch detaillierte Informationen zu bestimmten Verbrauchern und Themen ansehen.

Konfigurieren Sie den Agenten für mehrere Kafka-Rollen auf derselben Instanz

Die einzelnen Konfigurationen für Kafka-Rollen, die unter aufgeführt sind, CloudWatch Agentenkonfiguration für diese Lösung gelten nur, wenn die Rollen Producer, Consumer und Broker auf separaten EC2 Instanzen bereitgestellt werden, ohne dass es zu Überschneidungen kommt. Wenn Sie mehrere Kafka-Rollen auf denselben EC2 Amazon-Instances ausführen, haben Sie zwei Möglichkeiten:

Das folgende Beispiel zeigt eine CloudWatch Agentenkonfiguration, bei der die Rollen Producer und Consumer auf einer Instanz als Teil desselben JVM Prozesses ausgeführt werden. In diesem Fall muss die Portnummer sowohl im Producer- als auch im Consumer-Bereich der folgenden Konfiguration identisch sein. Wenn die beiden Rollen stattdessen als Teil verschiedener JVM Prozesse ausgeführt würden, könnten Sie je nach Port jedes einzelnen JVM Prozesses unterschiedliche JMX Portnummern für jede Rolle angeben.

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-producer": {
            "measurement": [
              "kafka.producer.request-rate",
              "kafka.producer.byte-rate",
              "kafka.producer.request-latency-avg",
              "kafka.producer.response-rate",
              "kafka.producer.record-error-rate",
              "kafka.producer.record-send-rate"
            ]
          },
          "append_dimensions": {
            "ProducerGroupName": "ProducerGroupName"
          }
        },
        {
          "endpoint": "localhost:port-number",
          "kafka-consumer": {
            "measurement": [
              "kafka.consumer.fetch-rate",
              "kafka.consumer.total.bytes-consumed-rate",
              "kafka.consumer.records-consumed-rate",
              "kafka.consumer.bytes-consumed-rate",
              "kafka.consumer.records-lag-max"
            ]
          },
          "append_dimensions": {
            "ConsumerGroupName": "ConsumerGroupName"
          }
        }
      ]
    }
  }
}