Solución de CloudWatch: carga de trabajo de Kafka en Amazon EC2

Esta solución lo ayuda a configurar la recopilación de métricas lista para usar mediante agentes de CloudWatch para las cargas de trabajo de Kafka (intermediarios, productores y consumidores) que se ejecutan en instancias de EC2. Además, lo ayuda a configurar un panel de CloudWatch preconfigurado. Para obtener información general sobre todas las soluciones de observabilidad de CloudWatch, consulte Soluciones de observabilidad de CloudWatch.

Requisitos

Esta solución es adecuada para las siguientes condiciones:

Ventajas

La solución ofrece supervisión de servidores Kafka, lo que proporciona información valiosa para los siguientes casos de uso:

A continuación se detallan las principales ventajas de la solución:

La siguiente imagen muestra un ejemplo del panel para esta solución:

Costos

Esta solución crea y utiliza recursos en su espacio de trabajo. Se cobrará por el uso estándar, que incluye lo siguiente:

Para obtener más información sobre los precios de CloudWatch, consulte Precios de Amazon CloudWatch.

La calculadora de precios puede ayudarlo a estimar los costos mensuales aproximados del uso de esta solución.

Configuración del agente de CloudWatch para esta solución

El agente de CloudWatch es un software que se ejecuta de forma continua y autónoma en sus servidores y en entornos contenerizados. Recopila métricas, registros y trazas de su infraestructura y aplicaciones y los envía a CloudWatch y X-Ray.

Para obtener más información sobre el agente de CloudWatch, consulte Recopile las métricas, registros y seguimientos con el agente de CloudWatch.

La configuración del agente de esta solución recopila las métricas fundamentales de Kafka, JVM y EC2. El agente de CloudWatch se puede configurar para recopilar más métricas de Kafka y JVM que las que muestra el panel de forma predeterminada. Para ver una lista de todas las métricas de Kafka que puede recopilar, consulte Recopilación de métricas de Kafka. Para obtener una lista de todas las métricas de JVM que puede recopilar, consulte Recopilación de métricas de JVM. Para ver una lista de métricas de EC2, consulte Métricas que el agente de CloudWatch recopila en instancias de Linux y de macOS.

Exponer los puertos JMX para las funciones de intermediario, productor y consumidor de Kafka

El agente de CloudWatch se basa en JMX para recopilar las métricas relacionadas con los intermediarios, productores y consumidores de Kafka. Para que esto sea posible, debe exponer el puerto de JMX en sus servidores y aplicaciones.

En el caso de los intermediarios de Kafka, debe utilizar la variable de entorno JMX_PORT para configurar el puerto. Deberá reiniciar los intermediarios después de configurar esta variable de entorno. Revise los scripts de inicio y los archivos de configuración de su aplicación para encontrar el mejor lugar para agregar estos argumentos.

Por ejemplo, para los sistemas Linux y macOS, puede usar el siguiente comando para configurar el puerto JMX. Asegúrese de especificar un número de puerto no utilizado.

export JMX_PORT=port-number

En el caso de los productores y consumidores de Kafka, las instrucciones para exponer el puerto de JMX dependen del tipo de carga de trabajo que utilice para su aplicación de JVM de productores o consumidores. Para obtener estas instrucciones, consulte la documentación de su aplicación.

En general, para habilitar un puerto de JMX para la supervisión y la administración, debe configurar las siguientes propiedades del sistema para su aplicación de JVM. En el siguiente ejemplo se configura la JMX no autenticada. Si sus políticas o requisitos de seguridad requieren que habilite JMX con autenticación por contraseña o SSL para el acceso remoto, consulte la documentación de JMX para configurar la propiedad requerida.

-Dcom.sun.management.jmxremote
-Dcom.sun.management.jmxremote.port=port-number
-Dcom.sun.management.jmxremote.authenticate=false 
-Dcom.sun.management.jmxremote.ssl=false

Para verificar el puerto JMX, ejecute ps aux | grep jmxremote.port. Los resultados deberían mostrar que el puerto JMX se estableció en los procesos de la JVM.

Configuración del agente de CloudWatch para esta solución

Las métricas que el agente recopiló se definen en la configuración del agente. La solución proporciona configuraciones de agente para recopilar las métricas recomendadas con las dimensiones adecuadas para el panel de la solución. Cada rol de Kafka, como intermediario, productor o consumidor, tiene su propia configuración de agente que permite recopilar las métricas de Kafka y las métricas subyacentes de JVM y EC2.

Los pasos para implementar la solución se describen más adelante en Implementar el agente para su solución. La siguiente información tiene por objetivo ayudarlo a comprender cómo personalizar la configuración del agente para su entorno.

Debe personalizar algunas partes de la siguiente configuración de agente para su entorno:

Por ejemplo, si tiene dos clústeres de Kafka ejecutándose en la misma cuenta, uno para la aplicación order-processing y otro para la aplicación inventory-management, debe establecer las dimensiones ClusterName y ProcessGroupName en consecuencia en la configuración del agente de la instancia del intermediario.

Si configura correctamente las dimensiones anteriores, el panel de la solución agrupará automáticamente las métricas en función de las dimensiones ClusterName, ProducerGroupName y ConsumerGroupName. El panel incluirá opciones desplegables para seleccionar y ver las métricas de clústeres y grupos específicos, lo que permitirá supervisar el rendimiento de los clústeres y grupos individuales por separado.

Asegúrese de implementar la configuración de agente correspondiente en las instancias de EC2 correctas. Cada configuración se almacenará como un parámetro independiente en Parameter Store de SSM, como se detalla más adelante en Paso 2: almacene el archivo de configuración recomendado del agente de CloudWatch en Parameter Store de Systems Manager.

En las siguientes instrucciones se describe la situación en la que las funciones de productor, consumidor e intermediario se implementan en instancias de EC2 independientes, sin que se superpongan. Si ejecuta varias funciones de Kafka en las mismas instancias de EC2, consulte Configure el agente para varios roles de Kafka en la misma instancia. para obtener más información.

Configuración de agentes para agentes de intermediarios de Kafka

Utilice la siguiente configuración de agente de CloudWatch en las instancias de EC2 en las que se implementen los agentes de intermediarios de Kafka. Sustituya ClusterName por el nombre del clúster que se usará para agrupar estas métricas y obtener una vista unificada. El valor que especifique para ClusterName se utiliza tanto como dimensión ClusterName como dimensión ProcessGroupName. Sustituya el port-number por el puerto JMX de su servidor Kafka. Si JMX se habilitó con autenticación por contraseña o SSL para el acceso remoto, consulte Recopilación de las métricas de Java Management Extensions (JMX) para obtener información sobre cómo configurar el TLS o la autorización, según sea necesario.

Las métricas de EC2 que se muestran en esta configuración (la configuración se muestra fuera del bloque de JMX) solo funcionan para instancias de Linux y macOS. Si utiliza instancias de Windows, puede optar por omitir estas métricas en la configuración. Para obtener información sobre las métricas recopiladas en las instancias de Windows, consulte Métricas que el agente de CloudWatch recopila en instancias de Windows Server.

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka": {
            "measurement": [
              "kafka.request.time.avg",
              "kafka.request.failed",
              "kafka.request.count",
              "kafka.purgatory.size",
              "kafka.partition.under_replicated",
              "kafka.partition.offline",
              "kafka.network.io",
              "kafka.leader.election.rate",
              "kafka.isr.operation.count"
            ]
          },
          "append_dimensions": {
            "ClusterName": "ClusterName"
          }
        },
        {
          "endpoint": "localhost:port-number",
          "jvm": {
            "measurement": [
              "jvm.classes.loaded",
              "jvm.gc.collections.count",
              "jvm.gc.collections.elapsed",
              "jvm.memory.heap.committed",
              "jvm.memory.heap.max",
              "jvm.memory.heap.used",
              "jvm.memory.nonheap.committed",
              "jvm.memory.nonheap.max",
              "jvm.memory.nonheap.used",
              "jvm.threads.count"
            ]
          },
          "append_dimensions": {
            "ProcessGroupName": "ClusterName"
          }
        }
      ],
      "disk": {
        "measurement": [
          "used_percent"
        ]
      },
      "mem": {
        "measurement": [
          "used_percent"
        ]
      },
      "swap": {
        "measurement": [
          "used_percent"
        ]
      },
      "netstat": {
        "measurement": [
          "tcp_established",
          "tcp_time_wait"
        ]
      }
    }
  }
}

Configuración de agente para productores de Kafka

Utilice la siguiente configuración de agente de CloudWatch en las instancias de Amazon EC2 en las que se implementan productores de Kafka. Sustituya ProducerGroupName por el nombre de la aplicación o el grupo que desee utilizar para agrupar las métricas y obtener una vista unificada. Sustituya el port-number por el puerto JMX de su aplicación de productor de Kafka.

La solución no habilita las métricas de JVM para los productores de Kafka porque el panel de la solución no muestra las métricas de JVM relacionadas con la JVM para los productores. También puede personalizar la configuración del agente para que emita métricas de JVM; sin embargo, las métricas de JVM relacionadas con los productores no están visibles en el panel de soluciones.

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-producer": {
            "measurement": [
              "kafka.producer.request-rate",
              "kafka.producer.byte-rate",
              "kafka.producer.request-latency-avg",
              "kafka.producer.response-rate",
              "kafka.producer.record-error-rate",
              "kafka.producer.record-send-rate"
            ]
          },
          "append_dimensions": {
            "ProducerGroupName": "ProducerGroupName"
          }
        }
      ]
    }
  }
}

Configuración de agente para consumidores de Kafka

Utilice la siguiente configuración de agente de CloudWatch en las instancias de EC2 en las que se ejecuten los agentes de consumidores de Kafka. Sustituya ConsumerGroupName por el nombre de la aplicación o el grupo para agrupar las métricas y obtener una vista unificada. Sustituya el port-number por el puerto JMX de su aplicación de consumidor de Kafka.

La solución no habilita las métricas de JVM para los consumidores de Kafka porque el panel de soluciones no muestra las métricas de JVM relacionadas con la JVM para los consumidores. Además puede personalizar la configuración del agente para que también emita métricas de JVM; sin embargo, las métricas de JVM relacionadas con el consumidor no están visibles en el panel de soluciones.

{
  "metrics": {
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-consumer": {
            "measurement": [
              "kafka.consumer.fetch-rate",
              "kafka.consumer.total.bytes-consumed-rate",
              "kafka.consumer.records-consumed-rate",
              "kafka.consumer.bytes-consumed-rate",
              "kafka.consumer.records-lag-max"
            ]
          },
          "append_dimensions": {
            "ConsumerGroupName": "ConsumerGroupName"
          }
        }
      ]
    }
  }
}

Implementar el agente para su solución

Existen varios métodos de instalación del agente de CloudWatch, según el caso de uso. Recomendamos usar Systems Manager para esta solución. Proporciona una experiencia de consola y simplifica la administración de una flota de servidores administrados en una sola cuenta de AWS. Las instrucciones de esta sección utilizan Systems Manager y están pensadas para cuando el agente de CloudWatch no se esté ejecutando con las configuraciones existentes. Puede comprobar si el agente de CloudWatch se está ejecutando siguiendo los pasos que se indican en Verifique que el agente de CloudWatch esté en ejecución.

Si ya ejecuta el agente de CloudWatch en los hosts de EC2 en los que se implementa la carga de trabajo y administra las configuraciones del agente, puede omitir las instrucciones de esta sección y seguir el mecanismo de implementación existente para actualizar la configuración. Asegúrese de combinar la configuración del agente según el rol (intermediario, productor o consumidor) con la configuración de agente existente y, a continuación, implemente la configuración combinada. Si utiliza Systems Manager para almacenar y administrar la configuración del agente de CloudWatch, puede combinar la configuración con el valor del parámetro existente. Para obtener más información, consulte Managing CloudWatch agent configuration files.

El proceso de implementación consta de los siguientes pasos:

Debe repetir estos pasos en función de si su intermediario, productor y consumidor están implementados en la misma instancia de EC2 o en instancias diferentes. Por ejemplo, si el intermediario, el productor y los consumidores de Kafka se van a implementar en instancias independientes sin que se superpongan, debe repetir estos pasos tres veces con las configuraciones de agente adecuadas para las instancias de EC2 del intermediario, productor y consumidor.

Paso 1: asegúrese de que las instancias de EC2 de destino disponen de los permisos de IAM necesarios

Debe conceder permiso a Systems Manager para instalar y configurar el agente de CloudWatch. También debe conceder permiso al agente de CloudWatch para publicar la telemetría de su instancia de EC2 en CloudWatch. Asegúrese de que el rol de IAM adjuntado a la instancia tenga adjuntas las políticas de IAM CloudWatchAgentServerPolicy y AmazonSSMManagedInstanceCore.

Paso 2: almacene el archivo de configuración recomendado del agente de CloudWatch en Parameter Store de Systems Manager

Parameter Store simplifica la instalación del agente de CloudWatch en una instancia de EC2 al almacenar y administrar los parámetros de configuración de forma segura, lo que elimina la necesidad de valores de codificación rígida. Esto garantiza un proceso de implementación más seguro y flexible, lo que permite una administración centralizada y facilita las actualizaciones de las configuraciones en varias instancias.

Siga los pasos a continuación para almacenar el archivo de configuración del agente de CloudWatch recomendado como parámetro en Parameter Store.

Paso 3: instale el agente de CloudWatch y aplique la configuración mediante una plantilla de AWS CloudFormation

Puede usar AWS CloudFormation para instalar el agente y configurarlo para que use la configuración del agente de CloudWatch que creó en los pasos anteriores.

Si quiere editar primero el archivo de plantilla para personalizarlo, seleccione la opción Cargar un archivo de plantilla en el Asistente de creación de pilas para cargar la plantilla editada. Para obtener más información, consulte Creación de una pila en la consola de AWS CloudFormation. Puede utilizar el siguiente enlace para descargar la plantilla: https://aws-observability-solutions.s3.amazonaws.com/CloudWatchAgent/CFN/v1.0.0/cw-agent-installation-template-1.0.0.json.

Paso 4: verifique que la configuración del agente sea correcta

Puede comprobar si el agente de CloudWatch está instalado siguiendo los pasos que se indican en Verifique que el agente de CloudWatch esté en ejecución. Si el agente de CloudWatch no está instalado ni en ejecución, asegúrese de haber configurado todo correctamente.

Si todo está configurado correctamente, debería ver las métricas de Kafka publicadas en CloudWatch. Puede comprobar la consola de CloudWatch para verificar que se estén publicando.

Crear el panel de soluciones de Kafka

Este panel muestra las métricas recién emitidas tanto para Kafka como para la JVM subyacente. Este panel proporciona una visión de los principales colaboradores sobre el estado de su carga de trabajo de Kafka, tanto en productores como en intermediarios y consumidores. La vista de los principales colaboradores muestra el widget de los 10 principales por métrica. Esto permite identificar los valores atípicos de una sola vez.

El panel de soluciones no muestra las métricas de EC2. Para ver las métricas de EC2, tendrá que usar el panel automático de EC2 para ver las métricas ofrecidas de EC2 y usar el panel de la consola de EC2 para ver las métricas de EC2 recopiladas por el agente de CloudWatch. Para obtener más información sobre los paneles automáticos de los servicios de AWS, consulte Visualización de un panel de CloudWatch para un solo servicio de AWS.

Para crear el panel, puede usar las siguientes opciones:

Al utilizar la consola de CloudWatch para crear un panel, puede obtener una vista previa del panel antes de crearlo y que se le cobre por ello.

Si desea editar el archivo de plantilla para personalizarlo para cualquier propósito, puede usar la opción Cargar un archivo de plantilla en Crear asistente de pilas para cargar la plantilla editada. Para obtener más información, consulte Creación de una pila en la consola de AWS CloudFormation. Puede utilizar este enlace para descargar la plantilla: https://aws-observability-solutions.s3.amazonaws.com/Kafka_EC2/CloudWatch/CFN/v1.0.0/dashboard-template-1.0.0.json.

Introducción al panel de Kafka

Estas son algunas tareas que puede probar con el nuevo panel de Kafka. Estas tareas permiten validar que el panel funciona correctamente y le proporcionan experiencia práctica en su uso para supervisar un clúster de Kafka. A medida que las vaya probando, se familiarizará con la navegación por el panel y la interpretación de las métricas visualizadas.

Cómo utilizar listas desplegables

El panel incluye listas desplegables en la parte superior que puede utilizar para filtrar y seleccionar los grupos específicos de clúster de Kafka, productores y consumidores que desee supervisar.

Comprobar el estado del clúster

En la sección Descripción general del clúster, busque los widgets Particiones incluidas en réplicas replicadas y Réplicas sincronizadas. Lo ideal es que sean cero o un número pequeño. Un valor grande para cualquiera de estas métricas podría indicar problemas con el clúster de Kafka que deben investigarse.

Investigar el rendimiento del intermediario

En la sección Intermediarios, busque los widgets Solicitudes de recuperación fallidas y Solicitudes de productor fallidas. Estos muestran el número de solicitudes fallidas de operaciones de recuperación y producción, respectivamente. Las altas tasas de error podrían indicar problemas con los intermediarios o con la conectividad de la red que requieren una investigación más profunda.

Supervisar el rendimiento del productor

En la sección Descripción general del grupo de productores, busque los widgets Tasa media de solicitudes, Latencia media de solicitudes y Tasa media de envío/error de registros. Estos darán una visión general del rendimiento de los productores del grupo seleccionado. También puede profundizar para ver las métricas de productores y temas específicos en la sección Productores.

Supervisar el desfase del consumidor

En la sección Descripción general de los grupos de consumidores, busque el widget Desfase del consumidor. Esto muestra el retraso de los consumidores a la hora de procesar los mensajes procedentes de las últimas compensaciones en las particiones a las que están suscritos. Lo ideal sería que el retraso con respecto al consumo fuera bajo o nulo. Un retraso elevado en relación con los consumidores podría indicar que los consumidores son incapaces de mantener el ritmo de producción de datos, lo que podría provocar una posible pérdida de datos o retrasos en el procesamiento. También puede profundizar para ver las métricas de consumidores y temas específicos en la sección Consumidores.

Configure el agente para varios roles de Kafka en la misma instancia.

Las configuraciones individuales de las funciones de Kafka que se enumeran en Configuración del agente de CloudWatch para esta solución se aplican solo cuando las funciones de productor, consumidor e intermediario se implementan en instancias de EC2 independientes, sin que se superpongan. Si ejecuta varios roles de Kafka en las mismas instancias de Amazon EC2, tiene dos opciones:

El siguiente ejemplo muestra una configuración de agente de CloudWatch en la que las funciones de productor y consumidor se ejecutan en una instancia como parte del mismo proceso de JVM. En este caso, el número de puerto debe ser el mismo en las partes de productor y consumidor de la configuración que se indica a continuación. Si, por el contrario, las dos funciones se ejecutaran como parte de procesos de JVM diferentes, podría especificar números de puerto diferentes para cada una de ellas, de acuerdo con el puerto JMX de cada proceso de JVM individual.

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-producer": {
            "measurement": [
              "kafka.producer.request-rate",
              "kafka.producer.byte-rate",
              "kafka.producer.request-latency-avg",
              "kafka.producer.response-rate",
              "kafka.producer.record-error-rate",
              "kafka.producer.record-send-rate"
            ]
          },
          "append_dimensions": {
            "ProducerGroupName": "ProducerGroupName"
          }
        },
        {
          "endpoint": "localhost:port-number",
          "kafka-consumer": {
            "measurement": [
              "kafka.consumer.fetch-rate",
              "kafka.consumer.total.bytes-consumed-rate",
              "kafka.consumer.records-consumed-rate",
              "kafka.consumer.bytes-consumed-rate",
              "kafka.consumer.records-lag-max"
            ]
          },
          "append_dimensions": {
            "ConsumerGroupName": "ConsumerGroupName"
          }
        }
      ]
    }
  }
}