Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés. # Supervisión de un clúster de Amazon MSK aprovisionado Amazon MSK ofrece varias formas de ayudar a supervisar el estado del clúster de Amazon MSK aprovisionado. + Amazon MSK recopila las métricas de Apache Kafka y las envía a Amazon, CloudWatch donde puede verlas. Para obtener más información acerca de las métricas de Apache Kafka, incluidas las que aparecen en las superficies de Amazon MSK, consulte [Monitoring](http://kafka.apache.org/documentation/#monitoring) en la documentación de Apache Kafka. + También puede supervisar su clúster de MSK con Prometheus, una aplicación de supervisión de código abierto. Para obtener información acerca de Prometheus, consulte [Overview](https://prometheus.io/docs/introduction/overview/) en la documentación de Prometheus. Para aprender cómo supervisar el clúster de MSK aprovisionado con Prometheus, consulte [Supervisión de un clúster de MSK aprovisionado con Prometheus](open-monitoring.md). + (Solo agentes Standard) Amazon MSK ayuda a supervisar la capacidad de almacenamiento en disco mediante el envío automático de alertas de capacidad de almacenamiento cuando un clúster aprovisionado está a punto de alcanzar su límite de capacidad. Las alertas también incluyen recomendaciones sobre las mejores medidas que se pueden tomar para solucionar los problemas detectados. Gracias a esta característica, puede identificar y resolver rápidamente los problemas de capacidad del disco antes de que se vuelvan críticos. Amazon MSK envía automáticamente estas alertas a la [consola de Amazon MSK](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/), a Panel de estado Amazon EventBridge y a los contactos de correo electrónico de su AWS cuenta. Para obtener más información sobre las alertas con respecto a la capacidad de almacenamiento, consulte [Uso de las alertas de capacidad de almacenamiento de Amazon MSK](cluster-alerts.md). **Topics** + [Vea las métricas de Amazon MSK mediante CloudWatch](cloudwatch-metrics.md) + [Métricas de Amazon MSK para monitorear a los corredores estándar con CloudWatch](metrics-details.md) + [Métricas de Amazon MSK para monitorear a los corredores de Express con CloudWatch](metrics-details-express.md) + [Supervisión de un clúster de MSK aprovisionado con Prometheus](open-monitoring.md) + [Supervisión del desfase del consumidor](consumer-lag.md) + [Uso de las alertas de capacidad de almacenamiento de Amazon MSK](cluster-alerts.md) # Vea las métricas de Amazon MSK mediante CloudWatch Puede supervisar las métricas de Amazon MSK mediante la CloudWatch consola, la línea de comandos o la CloudWatch API. Los siguientes procedimientos le muestran cómo obtener acceso a las métricas a través de los distintos métodos descritos a continuación. **Para acceder a las métricas mediante la consola CloudWatch** Inicie sesión en Consola de administración de AWS y abra la CloudWatch consola en [https://console.aws.amazon.com/cloudwatch/](https://console.aws.amazon.com/cloudwatch/). 1. En el panel de navegación, seleccione **Métricas**. 1. Seleccione la pestaña **Todas las métricas** y, a continuación, seleccione **AWS/Kafka**. 1. Para ver métricas a nivel de tema, elija **Topic, Broker ID, Cluster Name (Tema, Identificador de Agente, Nombre de Clúster)**; para métricas a nivel de agente, elija **Broker ID, Cluster name (Identificador de agente, Nombre de clúster)**; y para métricas a nivel de clúster, elija **Cluster Name (Nombre de clúster)**. 1. (Opcional) En el panel gráfico, seleccione una estadística y un período de tiempo y, a continuación, cree una CloudWatch alarma con estos ajustes. **Para acceder a las métricas mediante el AWS CLI** Utilice las [métricas y [get-metric-statistics](https://docs.aws.amazon.com/cli/latest/reference/cloudwatch/get-metric-statistics.html)los comandos de la lista](https://docs.aws.amazon.com/cli/latest/reference/cloudwatch/list-metrics.html). **Para acceder a las métricas mediante la CloudWatch CLI** Utilice los comandos [mon-list-metrics](https://docs.aws.amazon.com/AmazonCloudWatch/latest/cli/cli-mon-list-metrics.html) y [mon-get-stats](https://docs.aws.amazon.com/AmazonCloudWatch/latest/cli/cli-mon-get-stats.html). **Para acceder a las métricas mediante la CloudWatch API** Utilice las operaciones [ListMetrics](https://docs.aws.amazon.com/AmazonCloudWatch/latest/APIReference/API_ListMetrics.html) y [GetMetricStatistics](https://docs.aws.amazon.com/AmazonCloudWatch/latest/APIReference/API_GetMetricStatistics.html). # Métricas de Amazon MSK para monitorear a los corredores estándar con CloudWatch Amazon MSK se integra con Amazon CloudWatch para que pueda recopilar, ver y analizar CloudWatch las métricas de sus corredores estándar de MSK. Las métricas que configure para los clústeres aprovisionados por MSK se recopilan automáticamente y se actualizan CloudWatch en intervalos de 1 minuto. Puede establecer el nivel de supervisión de un clúster de MSK aprovisionado en uno de los siguientes: `DEFAULT`, `PER_BROKER`, `PER_TOPIC_PER_BROKER` o `PER_TOPIC_PER_PARTITION`. Las tablas de las siguientes secciones muestran todas las métricas que hay disponibles a partir de cada nivel de supervisión. **nota** Los nombres de algunas métricas de Amazon MSK para la CloudWatch supervisión han cambiado en la versión 3.6.0 y versiones posteriores. Use los nuevos nombres para supervisar estas métricas. En el caso de las métricas con nombres modificados, en la siguiente tabla se muestra el nombre utilizado en la versión 3.6.0 y las versiones posteriores, seguido del nombre en la versión 2.8.2.tiered. Las métricas de `DEFAULT` son gratuitas. Los precios de otras métricas se describen en la página de [ CloudWatchprecios de Amazon](https://aws.amazon.com/cloudwatch/pricing/). ## Supervisión de `DEFAULT` Las métricas descritas en la tabla siguiente están disponibles en el nivel de monitorización `DEFAULT`. Son gratis. | Name | Cuando está visible | Dimensiones | Description (Descripción) | | --- | --- | --- | --- | | ActiveControllerCount | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster | Sólo debe estar activo en un momento dado un controlador por clúster. | | BurstBalance | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El saldo restante de la ráfaga de entrada y salida se destina a los volúmenes de EBS del clúster. Úselo para investigar la latencia o la disminución del rendimiento. `BurstBalance` no se registra para los volúmenes de EBS cuando el rendimiento de la referencia de un volumen es mayor que el rendimiento por ráfagas máximo. Para obtener más información, consulte [Créditos de E/S y rendimiento por ráfagas](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ebs-volume-types.html#IOcredit). | | BytesInPerSec | Después de crear un tema. | Nombre del clúster, ID del agente, Tema | El número de bytes por segundo recibidos de los clientes. Esta métrica está disponible por agente y también por tema. | | BytesOutPerSec | Después de crear un tema. | Nombre del clúster, ID del agente, Tema | El número de bytes por segundo enviados a los clientes. Esta métrica está disponible por agente y también por tema. | | ClientConnectionCount | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente, autenticación del cliente | El número de conexiones de cliente autenticadas y activas. | | ConnectionCount | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número de conexiones activas autenticadas, no autenticadas y entre agentes. | | CPUCreditBalance | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | La cantidad de créditos de la CPU obtenidos que un agente ha acumulado desde que se lanzó. Los créditos se acumulan en el saldo de créditos una vez obtenidos y se eliminan del saldo de créditos cuando se gastan. Si se queda sin saldo de créditos de CPU, puede repercutir negativamente en el rendimiento del clúster. Puede tomar medidas para reducir la carga de la CPU. Por ejemplo, puede reducir el número de solicitudes de los clientes o actualizar el tipo de agente a un tipo de agente M5. | | CpuIdle | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El porcentaje de tiempo de inactividad de la CPU. | | CpuIoWait | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El porcentaje de tiempo de inactividad de la CPU durante una operación de disco pendiente. | | CpuSystem | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El porcentaje de CPU en el espacio del kernel. | | CpuUser | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El porcentaje de CPU en el espacio de usuario. | | GlobalPartitionCount | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster | El número de particiones en todos los temas del clúster, sin incluir las réplicas. Como GlobalPartitionCount no incluye réplicas, la suma de los PartitionCount valores puede ser mayor que GlobalPartitionCount si el factor de replicación de un tema es superior a 1. | | GlobalTopicCount | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster | Número total de temas entre todos los agentes del clúster. | | EstimatedMaxTimeLag\$1 | Después de que el grupo de consumidores consuma de un tema. | Nombre del clúster, grupo de consumidores, tema | Tiempo estimado (en segundos) para drenar MaxOffsetLag. | | KafkaAppLogsDiskUsed | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | Porcentaje de espacio en disco utilizado para los registros de aplicaciones. | | KafkaDataLogsDiskUsed (Cluster Name, Broker ID dimensión) | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | Porcentaje de espacio en disco utilizado para los registros de datos. | | LeaderCount | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número total de líderes de particiones por agente, sin incluir las réplicas. | | MaxOffsetLag\$1 | Después de que el grupo de consumidores consuma de un tema. | Nombre del clúster, grupo de consumidores, tema | El retraso máximo de desplazamiento en todas las particiones de un tema. | | MemoryBuffered | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El tamaño en bytes de memoria almacenada en búfer para el agente. | | MemoryCached | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El tamaño en bytes de memoria almacenada en caché para el agente.. | | MemoryFree | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El tamaño en bytes de memoria que está libre y disponible para el agente. | | HeapMemoryAfterGC | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El porcentaje de memoria apilada total que se utiliza después de la recopilación de elementos no utilizados. | | MemoryUsed | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El tamaño en bytes de memoria que está en uso para el agente. | | MessagesInPerSec | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número de mensajes entrantes por segundo para el agente. | | NetworkRxDropped | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número de paquetes abandonados descartados. | | NetworkRxErrors | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número de errores de recepción de la red para el agente. | | NetworkRxPackets | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número de paquetes recibidos por el agente. | | NetworkTxDropped | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número de paquetes de transmisión descartados. | | NetworkTxErrors | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número de errores de transmisión de red para el agente. | | NetworkTxPackets | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número de paquetes transmitidos por el agente. | | OfflinePartitionsCount | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster | Número total de particiones sin conexión en el clúster. | | PartitionCount | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número total de particiones de temas por agente, lo que incluye las réplicas. | | ProduceTotalTimeMsMean | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El tiempo medio de producción en milisegundos. | | RequestBytesMean | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número medio de bytes de solicitud para el agente. | | RequestTime | Después de aplicar la limitación de solicitudes. | Nombre del clúster, ID del agente | El tiempo promedio en milisegundos empleado en la red de agentes y subprocesos de E/S para procesar solicitudes. | | RootDiskUsed | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El porcentaje del disco raíz utilizado por el agente. | | RollingEstimatedTimeLagMax\$1 | Después de que el grupo de consumidores consuma de un tema. | Nombre del clúster, grupo de consumidores, tema | Estimación del tiempo máximo acumulativo (en segundos) para reducir el desfase de compensación de la partición en todas las particiones de un tema. | | SumOffsetLag\$1 | Después de que el grupo de consumidores consuma de un tema. | Nombre del clúster, grupo de consumidores, tema | El retraso de desplazamiento agregado de todas las particiones de un tema. | | SwapFree | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El tamaño en bytes de memoria de intercambio que está disponible para el agente. | | SwapUsed | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El tamaño en bytes de memoria de intercambio que está en uso para el agente. | | TrafficShaping | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | Métricas de alto nivel que indican la cantidad de paquetes formados (descartados o en cola) debido a que se superan las asignaciones de red. Las métricas PER\$1BROKER ofrecen información más detallada. | | UnderMinIsrPartitionCount | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número de particiones bajo minIsr para el agente. | | UnderReplicatedPartitions | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número de particiones infrareplicadas para el agente. | | UserPartitionExists | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | Una métrica booleana que indica la presencia de una partición propiedad del usuario en un agente. Un valor de 1 indica la presencia de particiones en el agente. | | ZooKeeperRequestLatencyMsMean | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | Clúster ZooKeeper basado en For. La latencia media en milisegundos de ZooKeeper las solicitudes de Apache del bróker. | | ZooKeeperSessionState | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | Para un clúster ZooKeeper basado. El estado de conexión de la ZooKeeper sesión del corredor puede ser uno de los siguientes: NOT\$1CONNECTED: '0.0', ASSOCIATING: '0.1', CONNECTING: '0.5', CONNECTEDREADONLY: '0.8', CONNECTED: '1.0', CLOSED: '5.0', AUTH\$1FAILED: '10.0'. | \$1 Las métricas de retardo de consumo requieren nombres de grupos de consumidores únicamente en ASCII y tienen requisitos de emisiones específicos. Para obtener más información, consulte [Supervisión del desfase del consumidor](consumer-lag.md). ## Supervisión de `PER_BROKER` Al establecer el nivel de supervisión en `PER_BROKER`, obtendrá las métricas descritas en la tabla siguiente además de todas las métricas a nivel de `DEFAULT`. Usted paga por las métricas de la tabla siguiente, mientras que las métricas a nivel `DEFAULT` siguen siendo gratuitas. Las métricas de esta tabla tienen las dimensiones siguientes: nombre del clúster, identificador del agente. | Name | Cuando está visible | Description (Descripción) | | --- | --- | --- | | BwInAllowanceExceeded | Después de que el clúster llegue al estado ACTIVE (Activo). | El número de paquetes formados porque el ancho de banda agregado entrante superó el máximo del agente. | | BwOutAllowanceExceeded | Después de que el clúster llegue al estado ACTIVE (Activo). | El número de paquetes formados porque el ancho de banda agregado saliente superó el máximo del agente. | | ConntrackAllowanceExceeded | Después de que el clúster llegue al estado ACTIVE (Activo). | El número de paquetes formados porque el seguimiento de la conexión superó el máximo del agente. El seguimiento de conexiones está relacionado con los grupos de seguridad que hacen un seguimiento de cada conexión establecida para asegurarse de que los paquetes devueltos se entreguen como se espera. | | ConnectionCloseRate | Después de que el clúster llegue al estado ACTIVE (Activo). | El número de conexiones cerradas por segundo por oyente. Este número se agrega por oyente y se filtra para los oyentes del cliente. | | ConnectionCreationRate | Después de que el clúster llegue al estado ACTIVE (Activo). | El número de conexiones nuevas establecidas por segundo por oyente. Este número se agrega por oyente y se filtra para los oyentes del cliente. | | CpuCreditUsage | Después de que el clúster llegue al estado ACTIVE (Activo). | La cantidad de créditos de CPU empleados por el agente. Si se queda sin saldo de créditos de CPU, puede repercutir negativamente en el rendimiento del clúster. Puede tomar medidas para reducir la carga de la CPU. Por ejemplo, puede reducir el número de solicitudes de los clientes o actualizar el tipo de agente a un tipo de agente M5. | | FetchConsumerLocalTimeMsMean | Después de que haya un productor/consumidor. | Tiempo medio en milisegundos que la solicitud del consumidor se procesa en el líder. | | FetchConsumerRequestQueueTimeMsMean | Después de que haya un productor/consumidor. | Tiempo medio en milisegundos que la solicitud del consumidor espera en la cola de solicitudes. | | FetchConsumerResponseQueueTimeMsMean | Después de que haya un productor/consumidor. | Tiempo medio en milisegundos que la solicitud del consumidor espera en la cola de respuesta. | | FetchConsumerResponseSendTimeMsMean | Después de que haya un productor/consumidor. | Tiempo medio en milisegundos para que el consumidor envíe una respuesta. | | FetchConsumerTotalTimeMsMean | Después de que haya un productor/consumidor. | El tiempo total medio en milisegundos que los consumidores gastan en obtener datos del agente. | | FetchFollowerLocalTimeMsMean | Después de que haya un productor/consumidor. | Tiempo medio en milisegundos que la solicitud del seguidor se procesa en el líder. | | FetchFollowerRequestQueueTimeMsMean | Después de que haya un productor/consumidor. | Tiempo medio en milisegundos que la solicitud del seguidor espera en la cola de solicitudes. | | FetchFollowerResponseQueueTimeMsMean | Después de que haya un productor/consumidor. | Tiempo medio en milisegundos que la solicitud del seguidor espera en la cola de respuesta. | | FetchFollowerResponseSendTimeMsMean | Después de que haya un productor/consumidor. | Tiempo medio en milisegundos para que el seguidor envíe una respuesta. | | FetchFollowerTotalTimeMsMean | Después de que haya un productor/consumidor. | El tiempo total medio en milisegundos que los seguidores gastan en obtener datos del agente. | | FetchMessageConversionsPerSec | Después de crear un tema. | El número de conversiones de mensajes de recuperación por segundo para el agente. | | FetchThrottleByteRate | Después de aplicar la limitación del ancho de banda. | El número de bytes acelerados por segundo. | | FetchThrottleQueueSize | Después de aplicar la limitación del ancho de banda. | El número de mensajes en la cola del acelerador. | | FetchThrottleTime | Después de aplicar la limitación del ancho de banda. | El tiempo promedio de aceleración de recuperación en milisegundos. | | IAMNumberOfConnectionRequests | Después de que el clúster llegue al estado ACTIVE (Activo). | La cantidad de solicitudes de autenticación de IAM por segundo. | | IAMTooManyConnections | Después de que el clúster llegue al estado ACTIVE (Activo). | La cantidad de conexiones intentadas por encima de 100. 0 indica que la cantidad de conexiones está dentro del límite. Si es menor que 0, se está excediendo el límite de aceleración y es necesario reducir la cantidad de conexiones. | | LinklocalAllowanceExceeded | Después de que el clúster llegue al estado ACTIVE (Activo). | El número de paquetes eliminados porque el PPS del tráfico a los servicios proxy locales superó el máximo para la interfaz de red. Esto afecta al tráfico hacia el servicio de DNS, el servicio de metadatos de instancia y el Amazon Time Sync Service. | | NetworkProcessorAvgIdlePercent | Después de que el clúster llegue al estado ACTIVE (Activo). | Porcentaje medio del tiempo en que los procesadores de red están inactivos. | | PpsAllowanceExceeded | Después de que el clúster llegue al estado ACTIVE (Activo). | El número de paquetes formados porque el PPS bidireccional superó el máximo del agente. | | ProduceLocalTimeMsMean | Después de que el clúster llegue al estado ACTIVE (Activo). | Tiempo medio en milisegundos en el que la solicitud se procesa en el líder. | | ProduceMessageConversionsPerSec | Después de crear un tema. | El número de conversiones de mensajes de generación por segundo para el agente. | | ProduceMessageConversionsTimeMsMean | Después de que el clúster llegue al estado ACTIVE (Activo). | Tiempo medio en milisegundos invertido en conversiones de formato de mensaje. | | ProduceRequestQueueTimeMsMean | Después de que el clúster llegue al estado ACTIVE (Activo). | Tiempo medio en milisegundos que los mensajes de solicitud pasan en la cola. | | ProduceResponseQueueTimeMsMean | Después de que el clúster llegue al estado ACTIVE (Activo). | Tiempo medio en milisegundos que pasan los mensajes de respuesta en la cola. | | ProduceResponseSendTimeMsMean | Después de que el clúster llegue al estado ACTIVE (Activo). | Tiempo medio en milisegundos dedicado al envío de mensajes de respuesta. | | ProduceThrottleByteRate | Después de aplicar la limitación del ancho de banda. | El número de bytes acelerados por segundo. | | ProduceThrottleQueueSize | Después de aplicar la limitación del ancho de banda. | El número de mensajes en la cola del acelerador. | | ProduceThrottleTime | Después de aplicar la limitación del ancho de banda. | El tiempo promedio de producción del acelerador en milisegundos. | | ProduceTotalTimeMsMean | Después de que el clúster llegue al estado ACTIVE (Activo). | El tiempo medio de producción en milisegundos. | | `RemoteFetchBytesPerSec (RemoteBytesInPerSec in v2.8.2.tiered)` | Después de que haya un productor/consumidor. | El número total de bytes transferidos desde el almacenamiento por niveles en respuesta a las búsquedas de los consumidores. Esta métrica incluye todas las particiones de temas que contribuyen al tráfico de transferencia de datos descendente. Categoría: tasas de tráfico y error. Se trata de una métrica [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage). | | RemoteCopyBytesPerSec (RemoteBytesOutPerSec in v2.8.2.tiered) | Después de que haya un productor/consumidor. | El número total de bytes transferidos al almacenamiento por niveles, incluidos los datos de los segmentos de registro, los índices y otros archivos auxiliares. Esta métrica incluye todas las particiones de temas que contribuyen al tráfico ascendente de transferencia de datos. Categoría: tasas de tráfico y error. Se trata de una métrica [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage). | | RemoteLogManagerTasksAvgIdlePercent | Después de que el clúster llegue al estado ACTIVE (Activo). | El porcentaje medio de tiempo que el administrador de registros remoto pasó inactivo. El administrador de registros remoto transfiere los datos del agente al almacenamiento por niveles. Categoría: actividad interna. Se trata de una métrica [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage). | | RemoteLogReaderAvgIdlePercent | Después de que el clúster llegue al estado ACTIVE (Activo). | El porcentaje medio de tiempo que el lector de registros remoto pasó inactivo. El lector de registros remoto transfiere los datos del almacenamiento remoto al agente en respuesta a las solicitudes de los consumidores. Categoría: actividad interna. Se trata de una métrica [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage). | | RemoteLogReaderTaskQueueSize | Después de que el clúster llegue al estado ACTIVE (Activo). | El número de tareas responsables de las lecturas del almacenamiento por niveles que están pendientes de ser programadas. Categoría: actividad interna. Se trata de una métrica [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage). | | RemoteFetchErrorsPerSec (RemoteReadErrorPerSec in v2.8.2.tiered) | Después de que el clúster llegue al estado ACTIVE (Activo). | La tasa total de errores en respuesta a las solicitudes de lectura que el agente especificado envió al almacenamiento por niveles para recuperar datos en respuesta a las búsquedas de los consumidores. Esta métrica incluye todas las particiones de temas que contribuyen al tráfico de transferencia de datos descendente. Categoría: tasas de tráfico y error. Se trata de una métrica [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage). | | RemoteFetchRequestsPerSec (RemoteReadRequestsPerSec in v2.8.2.tiered) | Después de que el clúster llegue al estado ACTIVE (Activo). | El número total de solicitudes de lectura que el agente especificado envió al almacenamiento por niveles para recuperar datos en respuesta a las búsquedas de los consumidores. Esta métrica incluye todas las particiones de temas que contribuyen al tráfico de transferencia de datos descendente. Categoría: tasas de tráfico y error. Se trata de una métrica [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage). | | RemoteCopyErrorsPerSec (RemoteWriteErrorPerSec in v2.8.2.tiered) | Después de que el clúster llegue al estado ACTIVE (Activo). | La tasa total de errores en respuesta a las solicitudes de escritura que el agente especificado envió al almacenamiento por niveles para transferir datos de forma ascendente. Esta métrica incluye todas las particiones de temas que contribuyen al tráfico ascendente de transferencia de datos. Categoría: tasas de tráfico y error. Se trata de una métrica [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage). | | RemoteLogSizeBytes | Después de que el clúster llegue al estado ACTIVE (Activo). | El número de bytes almacenados en el nivel remoto. Esta métrica está disponible para clústeres con almacenamiento por niveles a partir de Apache Kafka versión 3.7.x en Amazon MSK. | | ReplicationBytesInPerSec | Después de crear un tema. | El número de bytes por segundo recibidos de otros agentes. | | ReplicationBytesOutPerSec | Después de crear un tema. | El número de bytes enviados por segundo a otros agentes. | | RequestExemptFromThrottleTime | Después de aplicar la limitación de solicitudes. | El tiempo promedio en milisegundos empleado en la red del agente y subprocesos de E/S para procesar solicitudes que están exentas de limitación. | | RequestHandlerAvgIdlePercent | Después de que el clúster llegue al estado ACTIVE (Activo). | El porcentaje medio del tiempo en que los subprocesos del controlador de solicitudes están inactivos. | | RequestThrottleQueueSize | Después de aplicar la limitación de solicitudes. | El número de mensajes en la cola del acelerador. | | RequestThrottleTime | Después de aplicar la limitación de solicitudes. | El tiempo medio de aceleración de la solicitud en milisegundos. | | TcpConnections | Después de que el clúster llegue al estado ACTIVE (Activo). | Muestra el número de segmentos TCP entrantes y salientes con el indicador SYN establecido. | | RemoteCopyLagBytes (TotalTierBytesLag in v2.8.2.tiered) | Después de crear un tema. | El número total de bytes de los datos que son aptos para la organización en niveles en el agente, pero que aún no se han transferido al almacenamiento por niveles. Estas métricas muestran la eficiencia de la transferencia de datos ascendentes. A medida que aumenta el desfase, aumenta la cantidad de datos que no permanecen en el almacenamiento por niveles. Categoría: desfase del archivo. No se trata de una métrica KIP-405. | | TrafficBytes | Después de que el clúster llegue al estado ACTIVE (Activo). | Muestra el tráfico de red en bytes totales entre clientes (productores y consumidores) y agentes. No se informa del tráfico entre agentes. | | VolumeQueueLength | Después de que el clúster llegue al estado ACTIVE (Activo). | El número de solicitudes de operaciones de lectura y escritura a la espera de realizarse en un periodo de tiempo especificado. | | VolumeReadBytes | Después de que el clúster llegue al estado ACTIVE (Activo). | El número de bytes indexados leídos en un periodo de tiempo especificado. | | VolumeReadOps | Después de que el clúster llegue al estado ACTIVE (Activo). | El número total de operaciones de lectura realizadas en un periodo de tiempo especificado. | | VolumeTotalReadTime | Después de que el clúster llegue al estado ACTIVE (Activo). | Número total de segundos empleados por todas las operaciones de lectura que se realizaron en un periodo de tiempo especificado. | | VolumeTotalWriteTime | Después de que el clúster llegue al estado ACTIVE (Activo). | Número total de segundos empleados por todas las operaciones de escritura que se realizaron en un periodo de tiempo especificado. | | VolumeWriteBytes | Después de que el clúster llegue al estado ACTIVE (Activo). | El número de bytes escritos en un periodo de tiempo especificado. | | VolumeWriteOps | Después de que el clúster llegue al estado ACTIVE (Activo). | El número total de operaciones de escritura en un periodo especificado. | ## Supervisión de `PER_TOPIC_PER_BROKER` Al establecer el nivel de supervisión en `PER_TOPIC_PER_BROKER`, obtendrá las métricas descritas en la tabla siguiente, además de todas las métricas de los niveles `PER_BROKER` y DEFAULT (Predeterminado). Solo las métricas de nivel `DEFAULT` son gratuitas. Las métricas de esta tabla tienen las dimensiones siguientes: nombre del clúster, identificador del agente, tema. **importante** En el caso de un clúster de Amazon MSK que utiliza la versión 2.4.1 o posterior de Apache Kafka, las métricas de la siguiente tabla aparecen solo después de que sus valores sean distintos de cero por primera vez. Por ejemplo, para ver `BytesInPerSec`, uno o más productores deben enviar datos al clúster en primer lugar. | Name | Cuando está visible | Description (Descripción) | | --- | --- | --- | | FetchMessageConversionsPerSec | Después de crear un tema. | El número de mensajes recuperados convertidos por segundo. | | MessagesInPerSec | Después de crear un tema. | El número de mensajes recibidos por segundo. | | ProduceMessageConversionsPerSec | Después de crear un tema. | El número de conversiones por segundo para los mensajes producidos. | | RemoteFetchBytesPerSec (RemoteBytesInPerSec in v2.8.2.tiered) | Después de crear un tema y de que el tema esté produciendo o consumiendo. | El número de bytes transferidos desde el almacenamiento por niveles en respuesta a las búsquedas del consumidor por el tema y el agente especificados. Esta métrica incluye todas las particiones de temas que contribuyen al tráfico de transferencia de datos descendente en el agente especificado. Categoría: tasas de tráfico y error. Se trata de una métrica [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage). | | RemoteCopyBytesPerSec (RemoteBytesOutPerSec in v2.8.2.tiered) | Después de crear un tema y de que el tema esté produciendo o consumiendo. | El número de bytes transferidos al almacenamiento por niveles, para el tema y el agente especificados. Esta métrica incluye todas las particiones del tema que contribuyen al tráfico ascendente de transferencia de datos en el agente especificado. Categoría: tasas de tráfico y error. Se trata de una métrica [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage). | | RemoteFetchErrorsPerSec (RemoteReadErrorPerSec in v2.8.2.tiered) | Después de crear un tema y de que el tema esté produciendo o consumiendo. | La tasa de errores en respuesta a las solicitudes de lectura que el agente especificado envía al almacenamiento por niveles para recuperar datos en respuesta a las consultas de los consumidores sobre el tema especificado. Esta métrica incluye todas las particiones de temas que contribuyen al tráfico de transferencia de datos descendente en el agente especificado. Categoría: tasas de tráfico y error. Se trata de una métrica [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage). | | RemoteFetchRequestsPerSec (RemoteReadRequestsPerSec in v2.8.2.tiered) | Después de crear un tema y de que el tema esté produciendo o consumiendo. | El número de solicitudes de lectura que el agente específico envía al almacenamiento por niveles para recuperar datos en respuesta a las consultas de los consumidores sobre el tema especificado. Esta métrica incluye todas las particiones de temas que contribuyen al tráfico de transferencia de datos descendente en el agente especificado. Categoría: tasas de tráfico y error. Se trata de una métrica [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage). | | RemoteCopyErrorsPerSec (RemoteWriteErrorPerSec in v2.8.2.tiered) | Después de crear un tema y de que el tema esté produciendo o consumiendo. | La tasa de errores en respuesta a las solicitudes de escritura que el agente especificado envía al almacenamiento por niveles para transferir datos de forma ascendente. Esta métrica incluye todas las particiones del tema que contribuyen al tráfico ascendente de transferencia de datos en el agente especificado. Categoría: tasas de tráfico y error. Se trata de una métrica [KIP-405](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage). | | RemoteLogSizeBytes | Después de crear un tema. | El número de bytes almacenados en el nivel remoto. Esta métrica está disponible para clústeres con almacenamiento por niveles a partir de Apache Kafka versión 3.7.x en Amazon MSK. | ## Supervisión de `PER_TOPIC_PER_PARTITION` Al establecer el nivel de supervisión en `PER_TOPIC_PER_PARTITION`, obtendrá las métricas descritas en la tabla siguiente, además de todas las métricas de los niveles `PER_TOPIC_PER_BROKER`, `PER_BROKER` y DEFAULT. Solo las métricas de nivel `DEFAULT` son gratuitas. Las métricas de esta tabla tienen las siguientes dimensiones: grupo de consumidores, tema y partición. | Name | Cuando está visible | Description (Descripción) | | --- | --- | --- | | EstimatedTimeLag\$1 | Después de que el grupo de consumidores consuma de un tema. | Tiempo estimado (en segundos) para reducir el retraso de desplazamiento de la partición. | | OffsetLag\$1 | Después de que el grupo de consumidores consuma de un tema. | El desfase del consumidor de la partición en cuanto al número de compensaciones. | | RollingEstimatedTimeLag\$1 | Después de que el grupo de consumidores consuma de un tema. | Estimación del tiempo de rotación (en segundos) para eliminar el desfase de compensación de la partición. | \$1 Las métricas de retardo de consumo requieren nombres de grupos de consumidores únicamente en ASCII y tienen requisitos de emisiones específicos. Para obtener más información, consulte [Supervisión del desfase del consumidor](consumer-lag.md). # Descripción de los estados de los clústeres de MSK aprovisionados La siguiente tabla muestra los posibles estados de un clúster de MSK aprovisionado y describe su significado. Salvo que se indique lo contrario, los estados de los clústeres de MSK aprovisionados se aplican tanto a los tipos de agente Standard como Express. Esta tabla también describe qué acciones puede y no puede realizar cuando un clúster de MSK aprovisionado se encuentra en uno de estos estados. Para conocer el estado de un clúster, puede visitar la Consola de administración de AWS. También puede usar el comando [describe-cluster-v2](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/kafka/describe-cluster-v2.html) o la operación [DescribeClusterV2](https://docs.aws.amazon.com/MSK/2.0/APIReference/v2-clusters-clusterarn.html#DescribeClusterV2) para describir el clúster aprovisionado. La descripción de un clúster incluye su estado. **** | Estado del clúster de MSK aprovisionado | Significado y posibles acciones | | --- | --- | | ACTIVE | Puede producir y consumir datos. También puede realizar AWS CLI operaciones y API de Amazon MSK en el clúster. | | CREAR | Amazon MSK está en proceso de configurar el clúster aprovisionado. Debe esperar a que el clúster alcance el estado ACTIVO antes de poder usarlo para producir o consumir datos o para realizar AWS CLI operaciones o la API de Amazon MSK en él. | | ELIMINANDO | El clúster aprovisionado está en proceso de ser eliminado. No puede usarlo para producir o consumir datos. Tampoco puede realizar AWS CLI operaciones ni la API de Amazon MSK en ella. | | ERROR | El proceso de creación o eliminación del clúster aprovisionado falló. No puede usar el clúster para producir o consumir datos. Puede eliminar el clúster, pero no puede realizar operaciones de AWS CLI actualización ni API de Amazon MSK en él. | | HEALING | Amazon MSK está llevando a cabo una operación interna, como reemplazar a un agente en mal estado. Por ejemplo, es posible que el agente no responda. Aún puede usar el clúster aprovisionado para producir y consumir datos. Sin embargo, no puede realizar operaciones de API ni de AWS CLI actualización de Amazon MSK en el clúster hasta que vuelva al estado ACTIVO. | | MAINTENANCE | (Solo agentes Standard) Amazon MSK realiza operaciones de mantenimiento rutinarias en el clúster. Estas operaciones de mantenimiento incluyen la aplicación de parches de seguridad. Aún puede usar el clúster para producir y consumir datos. Sin embargo, no puede realizar operaciones de actualización de la API o AWS CLI de Amazon MSK en el clúster hasta que vuelva al estado ACTIVO. El estado del clúster permanece ACTIVO durante el mantenimiento en agentes Express. Consulte [Aplicación de parches en clústeres de MSK aprovisionados](patching-impact.md). | | REBOOTING\$1BROKER | Amazon MSK está reiniciando un agente. Aún puede usar el clúster aprovisionado para producir y consumir datos. Sin embargo, no puede realizar operaciones de API ni de AWS CLI actualización de Amazon MSK en el clúster hasta que vuelva al estado ACTIVO. | | ACTUALIZANDO | Una AWS CLI operación o API de Amazon MSK iniciada por el usuario está actualizando el clúster aprovisionado. Aún puede usar el clúster aprovisionado para producir y consumir datos. Sin embargo, no puede realizar ninguna operación adicional de API o AWS CLI actualización de Amazon MSK en el clúster hasta que vuelva al estado ACTIVO. | # Métricas de Amazon MSK para monitorear a los corredores de Express con CloudWatch Amazon MSK se integra CloudWatch para que pueda recopilar, ver y analizar CloudWatch las métricas de sus corredores de MSK Express. Las métricas que configure para los clústeres aprovisionados de MSK se recopilan automáticamente y se actualizan CloudWatch en intervalos de 1 minuto. Puede establecer el nivel de supervisión de un clúster de MSK aprovisionado en uno de los siguientes: `DEFAULT`, `PER_BROKER`, `PER_TOPIC_PER_BROKER` o `PER_TOPIC_PER_PARTITION`. Las tablas de las secciones siguientes muestran las métricas que están disponibles a partir de cada nivel de supervisión. Las métricas de `DEFAULT` son gratuitas. Los precios de otras métricas se describen en la página de [ CloudWatchprecios de Amazon](https://aws.amazon.com/cloudwatch/pricing/). ## Nivel de supervisión `DEFAULT` para agentes Express Las métricas descritas en la tabla siguiente están disponibles sin costo en el nivel de supervisión `DEFAULT`. | Name | Cuando está visible | Dimensiones | Description (Descripción) | | --- | --- | --- | --- | | ActiveControllerCount | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster | Sólo debe estar activo en un momento dado un controlador por clúster. | | BytesInPerSec | Después de crear un tema. | Nombre del clúster, ID del agente, Tema | El número de bytes por segundo recibidos de los clientes. Esta métrica está disponible por agente y también por tema. | | BytesOutPerSec | Después de crear un tema. | Nombre del clúster, ID del agente, Tema | El número de bytes por segundo enviados a los clientes. Esta métrica está disponible por agente y también por tema. | | ClientConnectionCount | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente, autenticación del cliente | El número de conexiones de cliente autenticadas y activas. | | ConnectionCount | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número de conexiones activas autenticadas, no autenticadas y entre agentes. | | CpuIdle | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El porcentaje de tiempo de inactividad de la CPU. | | CpuSystem | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El porcentaje de CPU en el espacio del kernel. | | CpuUser | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El porcentaje de CPU en el espacio de usuario. | | GlobalPartitionCount | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster | El número de particiones en todos los temas del clúster, sin incluir las réplicas. Debido a que `GlobalPartitionCount` no incluye réplicas, la suma de los valores de `PartitionCount` puede ser mayor que `GlobalPartitionCount` si el factor de replicación de un tema es superior a `1`. | | GlobalTopicCount | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster | Número total de temas entre todos los agentes del clúster. | | EstimatedMaxTimeLag\$1 | Después de que el grupo de consumidores consuma de un tema. | Grupo de consumidores, tema | Tiempo estimado (en segundos) para drenar `MaxOffsetLag`. | | LeaderCount | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número total de líderes de particiones por agente, sin incluir las réplicas. | | MaxOffsetLag\$1 | Después de que el grupo de consumidores consuma de un tema. | Grupo de consumidores, tema | El retraso máximo de desplazamiento en todas las particiones de un tema. | | MemoryBuffered | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El tamaño en bytes de memoria almacenada en búfer para el agente. | | MemoryCached | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El tamaño en bytes de memoria almacenada en caché para el agente.. | | MemoryFree | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El tamaño en bytes de memoria que está libre y disponible para el agente. | | MemoryUsed | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El tamaño en bytes de memoria que está en uso para el agente. | | MessagesInPerSec | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número de mensajes entrantes por segundo para el agente. | | NetworkRxDropped | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número de paquetes abandonados descartados. | | NetworkRxErrors | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número de errores de recepción de la red para el agente. | | NetworkRxPackets | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número de paquetes recibidos por el agente. | | NetworkTxDropped | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número de paquetes de transmisión descartados. | | NetworkTxErrors | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número de errores de transmisión de red para el agente. | | NetworkTxPackets | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número de paquetes transmitidos por el agente. | | PartitionCount | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número total de particiones de temas por agente, lo que incluye las réplicas. | | ProduceTotalTimeMsMean | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El tiempo medio de producción en milisegundos. | | RequestBytesMean | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | El número medio de bytes de solicitud para el agente. | | RequestTime | Después de aplicar la limitación de solicitudes. | Nombre del clúster, ID del agente | El tiempo medio en milisegundos que se pasa en la red de intermediarios y en I/O los subprocesos para procesar las solicitudes. | | RollingEstimatedTimeLagMax\$1 | Después de que el grupo de consumidores consuma de un tema. | Grupo de consumidores, tema | Estimación del tiempo máximo acumulativo (en segundos) para reducir el desfase de compensación de la partición en todas las particiones de un tema. | | StorageUsed | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster | El almacenamiento total utilizado en todas las particiones del clúster, con exclusión de las réplicas. | | SumOffsetLag\$1 | Después de que el grupo de consumidores consuma de un tema. | Grupo de consumidores, tema | El retraso de desplazamiento agregado de todas las particiones de un tema. | | UserPartitionExists | Después de que el clúster llegue al estado ACTIVE (Activo). | Nombre del clúster, ID del agente | Métrica booleana que indica la presencia de una partición propiedad del usuario en un agente. Un valor de 1 indica la presencia de particiones en el agente. | \$1 Las métricas de retardo de consumo requieren nombres de grupos de consumidores únicamente en ASCII y tienen requisitos de emisiones específicos. Para obtener más información, consulte [Supervisión del desfase del consumidor](consumer-lag.md). ## Nivel de supervisión `PER_BROKER` para agentes Express Al establecer el nivel de supervisión en `PER_BROKER`, obtendrá las métricas descritas en la tabla siguiente además de todas las métricas a nivel de `DEFAULT`. Paga por las métricas de la tabla siguiente, mientras que las métricas del nivel `DEFAULT` se mantienen gratuitas. Las métricas de esta tabla tienen las dimensiones siguientes: nombre del clúster, identificador del agente. | Name | Cuando está visible | Description (Descripción) | | --- | --- | --- | | ConnectionCloseRate | Después de que el clúster llegue al estado ACTIVE (Activo). | El número de conexiones cerradas por segundo por oyente. Este número se agrega por oyente y se filtra para los oyentes del cliente. | | ConnectionCreationRate | Después de que el clúster llegue al estado ACTIVE (Activo). | El número de conexiones nuevas establecidas por segundo por oyente. Este número se agrega por oyente y se filtra para los oyentes del cliente. | | FetchConsumerLocalTimeMsMean | Después de que haya un productor/consumidor. | Tiempo medio en milisegundos que la solicitud del consumidor se procesa en el líder. | | FetchConsumerRequestQueueTimeMsMean | Después de que haya un productor/consumidor. | Tiempo medio en milisegundos que la solicitud del consumidor espera en la cola de solicitudes. | | FetchConsumerResponseQueueTimeMsMean | Después de que haya un productor/consumidor. | Tiempo medio en milisegundos que la solicitud del consumidor espera en la cola de respuesta. | | FetchConsumerResponseSendTimeMsMean | Después de que haya un productor/consumidor. | Tiempo medio en milisegundos para que el consumidor envíe una respuesta. | | FetchConsumerTotalTimeMsMean | Después de que haya un productor/consumidor. | El tiempo total medio en milisegundos que los consumidores gastan en obtener datos del agente. | | FetchFollowerLocalTimeMsMean | Después de que haya un productor/consumidor. | Tiempo medio en milisegundos que la solicitud del seguidor se procesa en el líder. | | FetchFollowerRequestQueueTimeMsMean | Después de que haya un productor/consumidor. | Tiempo medio en milisegundos que la solicitud del seguidor espera en la cola de solicitudes. | | FetchFollowerResponseQueueTimeMsMean | Después de que haya un productor/consumidor. | Tiempo medio en milisegundos que la solicitud del seguidor espera en la cola de respuesta. | | FetchFollowerResponseSendTimeMsMean | Después de que haya un productor/consumidor. | Tiempo medio en milisegundos para que el seguidor envíe una respuesta. | | FetchFollowerTotalTimeMsMean | Después de que haya un productor/consumidor. | El tiempo total medio en milisegundos que los seguidores gastan en obtener datos del agente. | | FetchThrottleByteRate | Después de aplicar la limitación del ancho de banda. | El número de bytes acelerados por segundo. | | FetchThrottleQueueSize | Después de aplicar la limitación del ancho de banda. | El número de mensajes en la cola del acelerador. | | FetchThrottleTime | Después de aplicar la limitación del ancho de banda. | El tiempo promedio de aceleración de recuperación en milisegundos. | | IAMNumberOfConnectionRequests | Después de que el clúster llegue al estado ACTIVE (Activo). | La cantidad de solicitudes de autenticación de IAM por segundo. | | IAMTooManyConnections | Después de que el clúster llegue al estado ACTIVE (Activo). | El número de conexiones intentadas por encima de 100. `0` significa que el número de conexiones se encuentra dentro del límite. Si `>0`, el límite de limitación controlada se está superando y debe reducir el número de conexiones. | | NetworkProcessorAvgIdlePercent | Después de que el clúster llegue al estado ACTIVE (Activo). | Porcentaje medio del tiempo en que los procesadores de red están inactivos. | | ProduceLocalTimeMsMean | Después de que el clúster llegue al estado ACTIVE (Activo). | Tiempo medio en milisegundos en el que la solicitud se procesa en el líder. | | ProduceRequestQueueTimeMsMean | Después de que el clúster llegue al estado ACTIVE (Activo). | Tiempo medio en milisegundos que los mensajes de solicitud pasan en la cola. | | ProduceResponseQueueTimeMsMean | Después de que el clúster llegue al estado ACTIVE (Activo). | Tiempo medio en milisegundos que pasan los mensajes de respuesta en la cola. | | ProduceResponseSendTimeMsMean | Después de que el clúster llegue al estado ACTIVE (Activo). | Tiempo medio en milisegundos dedicado al envío de mensajes de respuesta. | | ProduceThrottleByteRate | Después de aplicar la limitación del ancho de banda. | El número de bytes acelerados por segundo. | | ProduceThrottleQueueSize | Después de aplicar la limitación del ancho de banda. | El número de mensajes en la cola del acelerador. | | ProduceThrottleTime | Después de aplicar la limitación del ancho de banda. | El tiempo promedio de producción del acelerador en milisegundos. | | ProduceTotalTimeMsMean | Después de que el clúster llegue al estado ACTIVE (Activo). | El tiempo medio de producción en milisegundos. | | ReplicationBytesInPerSec | Después de crear un tema. | El número de bytes por segundo recibidos de otros agentes. | | ReplicationBytesOutPerSec | Después de crear un tema. | El número de bytes enviados por segundo a otros agentes. | | RequestExemptFromThrottleTime | Después de aplicar la limitación de solicitudes. | El tiempo medio en milisegundos que se dedica a la red de intermediarios y a I/O los subprocesos a procesar las solicitudes exentas de limitaciones. | | RequestHandlerAvgIdlePercent | Después de que el clúster llegue al estado ACTIVE (Activo). | El porcentaje medio del tiempo en que los subprocesos del controlador de solicitudes están inactivos. | | RequestThrottleQueueSize | Después de aplicar la limitación de solicitudes. | El número de mensajes en la cola del acelerador. | | RequestThrottleTime | Después de aplicar la limitación de solicitudes. | El tiempo medio de aceleración de la solicitud en milisegundos. | | TcpConnections | Después de que el clúster llegue al estado ACTIVE (Activo). | Muestra el número de segmentos TCP entrantes y salientes con el indicador SYN establecido. | | TrafficBytes | Después de que el clúster llegue al estado ACTIVE (Activo). | Muestra el tráfico de red en bytes totales entre clientes (productores y consumidores) y agentes. No se informa del tráfico entre agentes. | ## Nivel de supervisión `PER_TOPIC_PER_PARTITION` para agentes Express Cuando establece el nivel de supervisión en `PER_TOPIC_PER_PARTITION`, obtiene las métricas descritas en la tabla siguiente, además de todas las métricas de los niveles `PER_TOPIC_PER_BROKER`, `PER_BROKER` y `DEFAULT`. Solo las métricas del nivel `DEFAULT` son gratuitas. Las métricas de esta tabla tienen las siguientes dimensiones: grupo de consumidores, tema y partición. | Name | Cuando está visible | Description (Descripción) | | --- | --- | --- | | EstimatedTimeLag\$1 | Después de que el grupo de consumidores consuma de un tema. | Tiempo estimado (en segundos) para reducir el retraso de desplazamiento de la partición. | | OffsetLag\$1 | Después de que el grupo de consumidores consuma de un tema. | El desfase del consumidor de la partición en cuanto al número de compensaciones. | | RollingEstimatedTimeLag\$1 | Después de que el grupo de consumidores consuma de un tema. | Estimación del tiempo de rotación (en segundos) para reducir el retardo de compensación de la partición. | \$1 Las métricas de retardo de consumo requieren nombres de grupos de consumidores únicamente en ASCII y tienen requisitos de emisiones específicos. Para obtener más información, consulte [Supervisión del desfase del consumidor](consumer-lag.md). ## Nivel de supervisión `PER_TOPIC_PER_BROKER` para agentes Express Cuando establece el nivel de supervisión en `PER_TOPIC_PER_BROKER`, obtiene las métricas descritas en la tabla siguiente, además de todas las métricas de los niveles `PER_BROKER` y `DEFAULT`. Solo las métricas del nivel `DEFAULT` son gratuitas. Las métricas de esta tabla tienen las dimensiones siguientes: nombre del clúster, identificador del agente, tema. **importante** Las métricas de la tabla siguiente aparecen únicamente después de que sus valores pasen a ser distintos de cero por primera vez. Por ejemplo, para verlo BytesInPerSec, uno o más productores deben enviar primero los datos al clúster. | Name | Cuando está visible | Description (Descripción) | | --- | --- | --- | | MessagesInPerSec | Después de crear un tema. | El número de mensajes recibidos por segundo. | # Supervisión de un clúster de MSK aprovisionado con Prometheus Puede supervisar el clúster de MSK aprovisionado con Prometheus, un sistema de supervisión de código abierto para datos de métricas de series de tiempo. Puede publicar estos datos en Amazon Managed Service para Prometheus mediante la característica de escritura remota de Prometheus. También puede usar herramientas compatibles con métricas en formato Prometheus o herramientas que se integran con Amazon MSK Open Monitoring, como [Datadog](https://docs.datadoghq.com/integrations/amazon_msk/), [Lenses](https://docs.lenses.io/latest/deployment/configuration/agent/automation/kafka/aws-msk), [New Relic](https://docs.newrelic.com/docs/integrations/amazon-integrations/aws-integrations-list/aws-managed-kafka-msk-integration) y[ Sumo Logic](https://help.sumologic.com/03Send-Data/Collect-from-Other-Data-Sources/Amazon_MSK_Prometheus_metrics_collection). El monitoreo abierto está disponible de forma gratuita, pero se aplican cargos por la transferencia de datos a través de las zonas de disponibilidad. Para obtener información sobre Prometheus, consulte la [documentación de Prometheus](https://prometheus.io/docs). Para obtener más información sobre el uso de Prometheus, consulte [Cómo mejorar la visibilidad operativa de Amazon MSK mediante Amazon Managed Service para Prometheus y Amazon Managed Grafana](https://aws.amazon.com/blogs//big-data/enhance-operational-insights-for-amazon-msk-using-amazon-managed-service-for-prometheus-and-amazon-managed-grafana/). **nota** KRaft el modo de metadatos y los corredores de MSK Express no pueden habilitar la supervisión abierta y el acceso público. # Habilitación de la supervisión abierta en nuevos clústeres de MSK aprovisionados Este procedimiento describe cómo habilitar la supervisión abierta en un nuevo clúster de MSK mediante la Consola de administración de AWS, la o la AWS CLI API de Amazon MSK. **Uso de Consola de administración de AWS** 1. ¿Iniciar sesión en la Consola de administración de AWS consola Amazon MSK y abrirla desde [https://console.aws.amazon.com/msk/casa? region=us-east-1\$1/home/](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/). 1. En la sección **Monitoring (Monitoreo)** marque la casilla de verificación situada junto a **Enable open monitoring with Prometheus (Habilitar monitoreo abierta con Prometheus)**. 1. Proporcione la información requerida en todas las secciones de la página y revise todas las opciones disponibles. 1. Elija **Create cluster**. **Usando el AWS CLI** + Invoque el comando [create-cluster](https://docs.aws.amazon.com/cli/latest/reference/kafka/create-cluster.html) y especifique su opción `open-monitoring`. Habilite `JmxExporter`, `NodeExporter`, o ambos. Si especifica `open-monitoring`, no se pueden desactivar los dos exportadores al mismo tiempo. **Uso de la API** + Invoque la [CreateCluster](https://docs.aws.amazon.com/msk/1.0/apireference/clusters.html#CreateCluster)operación y especifique`OpenMonitoring`. Habilite `jmxExporter`, `nodeExporter`, o ambos. Si especifica `OpenMonitoring`, no se pueden desactivar los dos exportadores al mismo tiempo. # Habilitación de la supervisión abierta en un clúster de MSK aprovisionado existente Para habilitar la supervisión abierta, asegúrese de que el clúster de MSK aprovisionado se encuentre en el estado `ACTIVE`. **Usando el Consola de administración de AWS** 1. ¿Iniciar sesión en la Consola de administración de AWS consola Amazon MSK y abrirla desde [https://console.aws.amazon.com/msk/casa? region=us-east-1\$1/home/](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/). 1. Elija el nombre del clúster que desea actualizar. Esto le lleva a la página que contiene los detalles del clúster. 1. En la pestaña **Propiedades** desplácese hacia abajo para buscar la sección **Monitoreo**. 1. Elija **Edit (Edición de)**. 1. Marque la casilla de verificación situada junto a **Enable open monitoring with Prometheus (Habilitar el monitoreo abierto con Prometheus)**. 1. Seleccione **Save changes (Guardar cambios)**. **Usando el AWS CLI** + Invoque el comando [update-monitoring](https://docs.aws.amazon.com/cli/latest/reference/kafka/update-monitoring.html) y especifique su opción `open-monitoring`. Habilite `JmxExporter`, `NodeExporter`, o ambos. Si especifica `open-monitoring`, no se pueden desactivar los dos exportadores al mismo tiempo. **Uso de la API** + Invoque la [UpdateMonitoring](https://docs.aws.amazon.com/msk/1.0/apireference/clusters-clusterarn-monitoring.html#UpdateMonitoring)operación y especifique`OpenMonitoring`. Habilite `jmxExporter`, `nodeExporter`, o ambos. Si especifica `OpenMonitoring`, no se pueden desactivar los dos exportadores al mismo tiempo. # Configuración de un host de Prometheus en una instancia de Amazon EC2 En este procedimiento, se describe cómo configurar un host de Prometheus con un archivo prometheus.yml. 1. Descargue el servidor de Prometheus de [https://prometheus.io/download/#prometheus](https://prometheus.io/download/#prometheus) a su instancia de Amazon EC2. 1. Extraiga el archivo descargado en un directorio y vaya a ese directorio. 1. Cree un archivo con el siguiente contenido y llámelo `prometheus.yml`. ``` # file: prometheus.yml # my global config global: scrape_interval: 60s # A scrape configuration containing exactly one endpoint to scrape: # Here it's Prometheus itself. scrape_configs: # The job name is added as a label `job=` to any timeseries scraped from this config. - job_name: 'prometheus' static_configs: # 9090 is the prometheus server port - targets: ['localhost:9090'] - job_name: 'broker' file_sd_configs: - files: - 'targets.json' ``` 1. Utilice la [ListNodes](https://docs.aws.amazon.com//msk/1.0/apireference/clusters-clusterarn-nodes.html#ListNodes)operación para obtener una lista de los agentes de su clúster. 1. Cree un archivo llamado `targets.json` con el siguiente JSON. Sustituya *broker\$1dns\$11**broker\$1dns\$12*, y el resto de los nombres DNS del corredor por los nombres DNS que obtuvo para sus corredores en el paso anterior. Incluya todos los agentes que obtuvo en el paso anterior. Amazon MSK utiliza el puerto 11001 para el exportador de JMX y el puerto 11002 para el exportador de nodos. ------ #### [ ZooKeeper mode targets.json ] ``` [ { "labels": { "job": "jmx" }, "targets": [ "broker_dns_1:11001", "broker_dns_2:11001", . . . "broker_dns_N:11001" ] }, { "labels": { "job": "node" }, "targets": [ "broker_dns_1:11002", "broker_dns_2:11002", . . . "broker_dns_N:11002" ] } ] ``` ------ #### [ KRaft mode targets.json ] ``` [ { "labels": { "job": "jmx" }, "targets": [ "broker_dns_1:11001", "broker_dns_2:11001", . . . "broker_dns_N:11001", "controller_dns_1:11001", "controller_dns_2:11001", "controller_dns_3:11001" ] }, { "labels": { "job": "node" }, "targets": [ "broker_dns_1:11002", "broker_dns_2:11002", . . . "broker_dns_N:11002" ] } ] ``` ------ **nota** Para extraer las métricas JMX de KRaft los controladores, añade los nombres DNS de los controladores como objetivos en el archivo JSON. Por ejemplo: `controller_dns_1:11001`, en donde debe reemplazar `controller_dns_1` con el nombre de DNS real del controlador. 1. Para iniciar el servidor Prometheus en su instancia de Amazon EC2, ejecute el siguiente comando en el directorio donde extrajo los archivos de Prometheus y guardó `prometheus.yml` y `targets.json`. ``` ./prometheus ``` 1. Busque la dirección IP pública IPv4 de la instancia de Amazon EC2 en la que ejecutó Prometheus en el paso anterior. Necesitará esta dirección IP pública en el siguiente paso. 1. Para acceder a la interfaz de usuario web de Prometheus, abra un navegador que pueda acceder a su instancia de Amazon EC2 y vaya `Prometheus-Instance-Public-IP:9090` a, *Prometheus-Instance-Public-IP* donde está la dirección IP pública que obtuvo en el paso anterior. # Uso de las métricas de Prometheus Se puede acceder a todas las métricas emitidas por Apache Kafka a JMX mediante el monitoreo abierto con Prometheus. Para obtener información acerca de las métricas de Apache Kafka, consulte [Monitoring](https://kafka.apache.org/documentation/#monitoring) en la documentación de Apache Kafka. Junto con las métricas de Apache Kafka, las métricas de retardo de consumo también están disponibles en el puerto 11001 con el nombre JMX. MBean `kafka.consumer.group:type=ConsumerLagMetrics` También puede usar el exportador de nodos de Prometheus para obtener métricas de CPU y disco para sus agentes en el puerto 11002. # Almacenamiento de las métricas de Prometheus en Amazon Managed Service para Prometheus Amazon Managed Service para Prometheus es un servicio de supervisión y alertas compatible con Prometheus que puede utilizar para supervisar clústeres de Amazon MSK. Es un servicio totalmente administrado que escala automáticamente la ingesta, el almacenamiento, las consultas y las alertas de sus métricas. También se integra con los servicios AWS de seguridad para ofrecerle un acceso rápido y seguro a sus datos. Puede utilizar el lenguaje de consulta ProMQL de código abierto para consultar sus métricas y crear alertas sobre ellas. Para obtener más información, consulte [Primeros pasos con Amazon Managed Service for Prometheus](https://docs.aws.amazon.com/prometheus/latest/userguide/AMP-getting-started.html). # Supervisión del desfase del consumidor Supervisar el desfase del consumidor permite identificar a los consumidores lentos o estancados que no están al tanto de los últimos datos disponibles sobre un tema. Cuando sea necesario, puede tomar medidas correctivas, como ampliar el número de consumidores o reiniciarlos. Para monitorear el retraso de consumo, puedes usar Amazon CloudWatch o el monitoreo abierto con Prometheus. Las métricas de desfase del consumidor cuantifican la diferencia entre los datos más recientes escritos sobre sus temas y los datos leídos por las aplicaciones. Amazon MSK proporciona las siguientes métricas de retraso en el consumo, que puede obtener a través de Amazon CloudWatch o mediante la supervisión abierta con Prometheus:,,, y. `EstimatedMaxTimeLag` `EstimatedTimeLag` `MaxOffsetLag` `OffsetLag` `SumOffsetLag` Para obtener información acerca de estas métricas, consulte [Métricas de Amazon MSK para monitorear a los corredores estándar con CloudWatch](metrics-details.md). Amazon MSK admite las métricas de desfase del consumidor para clústeres con la versión 2.2.1 o posterior de Apache Kafka. Cuando trabaje con Kafka y con métricas, tenga en cuenta los siguientes puntos: CloudWatch + Las métricas de desfase del consumidor se emiten únicamente si un grupo de consumidores se encuentra en estado ESTABLE o VACÍO. Un grupo de consumidores se mantiene ESTABLE tras completar satisfactoriamente el proceso de reequilibrio, lo que garantiza que sus particiones se distribuyan uniformemente entre los consumidores. + Las métricas de desfase del consumidor no se emiten en los siguientes escenarios: + Si el grupo de consumidores es inestable. + Si el nombre del grupo de consumidores contiene dos puntos (:). + Si no ha configurado el desplazamiento del consumidor para el grupo de consumidores. + Los nombres de los grupos de consumidores se utilizan como dimensiones para las métricas de retraso de consumo. CloudWatch [Si bien Kafka admite caracteres UTF-8 en los nombres de grupos de consumidores, solo CloudWatch admite caracteres ASCII para los valores de dimensión.](https://docs.aws.amazon.com/AmazonCloudWatch/latest/APIReference/API_Dimension.html) Si utiliza caracteres que no son ASCII en los nombres de los grupos de consumidores, CloudWatch se eliminan las métricas de retardo de consumo. Para asegurarse de que las métricas de retardo de consumo se reflejan correctamente CloudWatch, debe utilizar únicamente caracteres ASCII en los nombres de los grupos de consumidores. # Uso de las alertas de capacidad de almacenamiento de Amazon MSK En los clústeres aprovisionados por Amazon MSK, usted elige la capacidad de almacenamiento principal del clúster. Si agota la capacidad de almacenamiento de un agente en el clúster aprovisionado, su capacidad de producir y consumir datos puede verse afectada, lo que provocará costosos tiempos de inactividad. Amazon MSK ofrece CloudWatch métricas que le ayudan a supervisar la capacidad de almacenamiento de su clúster. Sin embargo, para que le resulte más fácil detectar y resolver los problemas de capacidad de almacenamiento, Amazon MSK le envía automáticamente alertas dinámicas con respecto a la capacidad de almacenamiento de clústeres. Estas alertas incluyen recomendaciones sobre medidas a corto y largo plazo para administrar la capacidad de almacenamiento del clúster. Desde la [consola de Amazon MSK](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/), puede utilizar los enlaces rápidos de las alertas para tomar las medidas recomendadas de forma inmediata. Existen dos tipos de alertas de capacidad de almacenamiento de MSK: preventivas y correctivas. + Las alertas de capacidad de almacenamiento preventivas (“es necesario tomar medidas”) le advierten sobre posibles problemas de almacenamiento en su clúster. Cuando un agente de un clúster de MSK utilice más del 60 % o el 80 % de su capacidad de almacenamiento en disco, recibirá alertas preventivas sobre el agente afectado. + Las alertas de capacidad de almacenamiento correctivas (“es necesario tomar medidas críticas”) le solicitan que tome medidas correctivas para solucionar un problema crítico del clúster cuando uno de los agentes de su clúster de MSK se queda sin capacidad de almacenamiento en disco. Amazon MSK envía automáticamente estas alertas a la [consola de Amazon MSK](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/), [AWS Health Dashboard](https://aws.amazon.com/premiumsupport/technology/aws-health/) EventBridge, [Amazon](https://aws.amazon.com/pm/eventbridge/) y a los contactos de correo electrónico de su AWS cuenta. También puedes [configurar Amazon EventBridge](https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-api-destination-partners.html) para que envíe estas alertas a Slack o a herramientas como New Relic y Datadog. Las alertas con respecto a la capacidad de almacenamiento están habilitadas de manera predeterminada para todos los clústeres aprovisionados de MSK y no se pueden desactivar. Esta característica está disponible en todas las regiones en las que MSK está disponible. ## Supervisión de las alertas de capacidad de almacenamiento Puede comprobar las alertas de capacidad de almacenamiento de varias maneras: + Vaya a la [consola de Amazon MSK](https://console.aws.amazon.com/msk/home?region=us-east-1#/home/). Las alertas sobre la capacidad de almacenamiento se muestran en el panel de alertas del clúster durante 90 días. Incluyen recomendaciones y acciones mediante enlaces con un solo clic para abordar los problemas de capacidad de almacenamiento en disco. + Usa [ListClustersListClusters](https://docs.aws.amazon.com/msk/1.0/apireference/clusters.html#ListClusters)[V2](https://docs.aws.amazon.com/MSK/2.0/APIReference/v2-clusters.html#ListClustersV2) o [DescribeClusterV2](https://docs.aws.amazon.com/MSK/2.0/APIReference/v2-clusters-clusterarn.html#DescribeClusterV2) APIs para ver todas las alertas `CustomerActionStatus` de un clúster. [DescribeCluster](https://docs.aws.amazon.com/msk/1.0/apireference/clusters-clusterarn.html#DescribeCluster) + Vaya al [panel de AWS  Health](https://aws.amazon.com/premiumsupport/technology/aws-health/) para ver las alertas de MSK y otros servicios de AWS . + Configura [AWS Health API](https://docs.aws.amazon.com/health/latest/ug/health-api.html) y [Amazon EventBridge](https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-api-destination-partners.html) para redirigir las notificaciones de alertas a plataformas de terceros NewRelic, como Datadog y Slack.