MSKRegistro de Amazon - Transmisión gestionada de Amazon para Apache Kafka

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

MSKRegistro de Amazon

Puede entregar los registros de los corredores de Apache Kafka a uno o más de los siguientes tipos de destinos: Amazon CloudWatch Logs, Amazon S3, Amazon Data Firehose. También puedes registrar las MSK API llamadas de Amazon con AWS CloudTrail.

nota

Los registros de los corredores no están disponibles en los corredores de Express.

Registros de agente

Los registros de los corredores le permiten solucionar los problemas de sus aplicaciones de Apache Kafka y analizar sus comunicaciones con el clúster. MSK Puede configurar su MSK clúster nuevo o existente para entregar registros de broker INFO de nivel a uno o más de los siguientes tipos de recursos de destino: un grupo de CloudWatch registros, un depósito de S3 o una transmisión de entrega de Firehose. A través de Firehose, puede enviar los datos de registro de su flujo de entrega a OpenSearch Service. Debe crear un recurso de destino antes de configurar el clúster para enviarle los registros de los agentes. Amazon MSK no crea estos recursos de destino para ti si aún no existen. Para obtener información acerca de estos tres tipos de recursos de destino y cómo crearlos, consulte la siguiente documentación:

Permisos necesarios

Para configurar un destino para los registros de los MSK agentes de Amazon, la IAM identidad que utilices para MSK las acciones de Amazon debe tener los permisos descritos en la AWS política gestionada: A mazonMSKFull Access política.

Para transmitir registros de agente a un bucket de S3, también necesita el permiso s3:PutBucketPolicy. Para obtener información acerca de las políticas de bucket de S3, consulte ¿Cómo agrego una política de bucket de S3? en la Guía del usuario de Amazon S3. Para obtener información acerca de las política de IAM en general, consulte Administración de accesos en la Guía del usuario de IAM.

Política KMS clave obligatoria para su uso conSSE: KMS buckets

Si has activado el cifrado del lado del servidor para tu depósito de S3 mediante claves AWS KMS administradas (SSE-KMS) con una clave gestionada por el cliente, añade lo siguiente a la política de claves de tu KMS clave para que Amazon MSK pueda escribir archivos de intermediarios en el depósito.

{ "Sid": "Allow Amazon MSK to use the key.", "Effect": "Allow", "Principal": { "Service": [ "delivery.logs.amazonaws.com" ] }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*" }

Configure los registros de los corredores mediante AWS Management Console

Si va a crear un nuevo clúster, busque el encabezado Broker log delivery (Entrega de registros de agente) en la sección Monitoring (Monitoreo). Puedes especificar los destinos a los que quieres que Amazon entregue MSK los registros de tus agentes.

Para un clúster existente, elija el clúster de la lista de clústeres y, a continuación, elija la pestaña Propiedades. Desplácese hacia abajo hasta la sección Envío de registros y, a continuación, elija el botón Editar. Puedes especificar los destinos a los que quieres que Amazon entregue MSK los registros de tus agentes.

Configure los registros de los corredores mediante el AWS CLI

Al utilizar los comandos create-cluster o los update-monitoring comandos, si lo desea, puede especificar el logging-info parámetro y pasarle una JSON estructura como la del siguiente ejemplo. En este casoJSON, los tres tipos de destino son opcionales.

{ "BrokerLogs": { "S3": { "Bucket": "ExampleBucketName", "Prefix": "ExamplePrefix", "Enabled": true }, "Firehose": { "DeliveryStream": "ExampleDeliveryStreamName", "Enabled": true }, "CloudWatchLogs": { "Enabled": true, "LogGroup": "ExampleLogGroupName" } } }

Configuración de los registros de agente desde la API

Puede especificar la loggingInfo estructura opcional en la JSON que pasa a las UpdateMonitoringoperaciones CreateClustero.

nota

De forma predeterminada, cuando el registro de agentes está habilitado, Amazon MSK registra los registros de INFO nivel en los destinos especificados. Sin embargo, los usuarios de las versiones 2.4.X y posteriores de Apache Kafka pueden establecer dinámicamente el nivel de registros de agente en cualquiera de los niveles de registro log4j. Para obtener información sobre cómo configurar dinámicamente el nivel de registro del agente, consulte KIP-412: Extender el administrador API para admitir los niveles de registro de aplicaciones dinámicos. Si establece el nivel de registro de forma dinámica en DEBUG o TRACE, recomendamos que utilice Amazon S3 o Firehose como destino de los registros. Si utilizas CloudWatch Logs como destino de registros y habilitas DEBUG o TRACE nivelas el registro de forma dinámica, Amazon MSK puede entregar continuamente una muestra de registros. Esto puede afectar considerablemente al rendimiento del agente y solo debe utilizarse cuando el nivel de registro INFO no sea lo suficientemente detallado como para determinar la causa raíz del problema.