Procesamiento en tiempo real de datos de registros con suscripciones - Amazon CloudWatch Logs

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Procesamiento en tiempo real de datos de registros con suscripciones

Puede utilizar las suscripciones para obtener acceso a una transmisión en tiempo real de los eventos de registro de CloudWatch Logs y hacer que se entregue a otros servicios, como una transmisión de Amazon Kinesis o una transmisión de Amazon Data Firehose, o AWS Lambda para su procesamiento, análisis o carga personalizados en otros sistemas. Cuando se envían eventos de registro al servicio de recepción, estos están codificados en base64 y comprimidos con el formato gzip.

Para comenzar a suscribirse a eventos de registro, cree el recurso de recepción como, por ejemplo, un flujo de Kinesis Data Streams, donde se enviarán los eventos. Un filtro de suscripción define el patrón de filtrado que se utilizará para filtrar qué eventos de registro se envían a su AWS recurso, así como información sobre a dónde enviar los eventos de registro coincidentes. Los eventos de registro se envían al recurso receptor poco después de ser ingeridos, normalmente en menos de tres minutos.

nota

Si un grupo de registros con una suscripción utiliza la transformación de registros, el patrón de filtrado se compara con las versiones transformadas de los eventos de registro. Para obtener más información, consulte Transforma los registros durante la ingestión.

Puede crear suscripciones en el nivel de cuenta y en el de grupo de registro. Cada cuenta puede tener un filtro de suscripciones a nivel de cuenta. Cada grupo de registro puede tener asociado hasta dos filtros de suscripción.

nota

Si el servicio de destino devuelve un error que se puede volver a intentar, como una excepción de limitación o una excepción de servicio que se puede volver a intentar (HTTP5xx, por ejemplo), CloudWatch Logs continúa reintentando la entrega durante un máximo de 24 horas. CloudWatch Logs no intenta volver a realizar la entrega si el error no se puede volver a intentar, como o. AccessDeniedException ResourceNotFoundException En estos casos, el filtro de suscripción se deshabilita durante un máximo de 10 minutos y, a continuación, CloudWatch Logs vuelve a intentar enviar los registros al destino. Durante este período de inhabilitación, se omiten los registros.

CloudWatch Logs también genera CloudWatch métricas sobre el reenvío de los eventos de registro a las suscripciones. Para obtener más información, consulte Monitorización con CloudWatch métricas.

También puedes usar una suscripción a CloudWatch Logs para transmitir datos de registro prácticamente en tiempo real a un clúster de Amazon OpenSearch Service. Para obtener más información, consulta Cómo transmitir datos de CloudWatch registros a Amazon OpenSearch Service.

Las suscripciones solo se admiten en los grupos de registro de la clase de registro Estándar. Para obtener más información acerca de las clases de registros, consulte Clases de registro.

nota

Los filtros de suscripción pueden recopilar eventos de registro por lotes para optimizar la transmisión y reducir la cantidad de llamadas realizadas al destino. El procesamiento por lotes no está garantizado, pero se utiliza siempre que es posible.

Conceptos

Cada filtro de suscripción se compone de los siguientes elementos principales:

patrón de filtro

Una descripción simbólica de cómo CloudWatch los registros deben interpretar los datos de cada evento de registro, junto con expresiones de filtrado que restringen lo que se entrega al AWS recurso de destino. Para obtener más información acerca de la sintaxis del patrón de filtro, consulte Filtro de sintaxis de patrones para filtros de métricas, filtros de suscripción, eventos de registro de filtros y Live Tail.

arn de destino

El nombre del recurso de Amazon (ARN) de la función de transmisión de Kinesis Data Streams, Firehose o Lambda que desee utilizar como destino del feed de suscripción.

arn de rol

Un IAM rol que otorga a CloudWatch Logs los permisos necesarios para colocar los datos en el destino elegido. Esta función no es necesaria para los destinos de Lambda porque los CloudWatch registros pueden obtener los permisos necesarios de la configuración de control de acceso de la propia función Lambda.

distribución

El método utilizado para distribuir los datos de registro al destino, cuando el destino es un flujo de Amazon Kinesis Data Streams. De forma predeterminada, los datos de registro se agrupan por flujo de registro. Para obtener una distribución más uniforme, puede agrupar los datos de registro de forma aleatoria.

En el caso de las suscripciones a nivel de grupo de registro, también se incluye el siguiente elemento clave:

nombre de grupo de registro

El grupo de registro al que asociar el filtro de suscripción. Todos los eventos de registros cargados en este grupo de registro estarían sujetos al filtro de suscripción y los que coinciden con el filtro se entregarían al servicio de destino que recibe los eventos de registro coincidentes.

En el caso de las suscripciones a nivel de cuenta, también se incluye el siguiente elemento clave:

criterios de selección

Son los criterios que se usan para seleccionar los grupos de registro a los que se ha aplicado el filtro de suscripción a nivel de cuenta. Si no los especifica, el filtro de suscripción de nivel de cuenta se aplica a todos los grupos de registro de la cuenta. Este campo se utiliza para evitar bucles de registro infinitos. Para obtener más información sobre el problema de bucles de registro infinitos, consulte Prevención de recursión de registros.

Los criterios de selección tienen un límite de 25 KB.