Journalisation Amazon MSK

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Vous pouvez envoyer les journaux des courtiers Apache Kafka vers un ou plusieurs des types de destination suivants : Amazon CloudWatch Logs, Amazon S3, Amazon Data Firehose. Vous pouvez également enregistrer les appels d'API Amazon MSK avec AWS CloudTrail.

Journaux d'agent

Les journaux d'agent vous permettent de dépanner vos applications Apache Kafka et d'analyser leurs communications avec votre cluster MSK. Vous pouvez configurer votre cluster MSK nouveau ou existant pour fournir des journaux de broker de niveau Info à un ou plusieurs des types de ressources de destination suivants : un groupe de CloudWatch journaux, un compartiment S3, un flux de diffusion Firehose. Grâce à Firehose, vous pouvez ensuite transmettre les données du journal de votre flux de diffusion au OpenSearch Service. Vous devez créer une ressource de destination avant de configurer votre cluster pour qu'il y envoie les journaux d'agent. Amazon MSK ne crée pas ces ressources de destination pour vous si elles n'existent pas déjà. Pour plus d'informations sur ces trois types de ressources de destination et sur la façon de les créer, consultez la documentation suivante :

Autorisations requises

Pour configurer une destination pour les journaux d'agent Amazon MSK, l'identité IAM que vous utilisez pour les actions Amazon MSK doit disposer des autorisations décrites dans la politique AWS politique gérée : Amazon MSKFull Access.

Pour diffuser des journaux d'agent vers un compartiment S3, vous avez également besoin de l'autorisation s3:PutBucketPolicy. Pour plus d'informations sur les politiques de compartiment S3, consultez Comment ajouter une politique de compartiment S3 ? dans le Guide de l'utilisateur Amazon S3. Pour plus d'informations sur les politiques IAM en général, consultez Gestion des accès dans le Guide de l'utilisateur IAM.

Stratégie de clé KMS obligatoire à utiliser avec les compartiments SSE-KMS

Si vous avez activé le chiffrement côté serveur pour votre compartiment S3 à l'aide de clés AWS KMS gérées (SSE-KMS) avec une clé gérée par le client, ajoutez ce qui suit à la politique de clé pour votre clé KMS afin qu'Amazon MSK puisse écrire des fichiers de broker dans le compartiment.

{
  "Sid": "Allow Amazon MSK to use the key.",
  "Effect": "Allow",
  "Principal": {
    "Service": [
      "delivery.logs.amazonaws.com"
    ]
  },
  "Action": [
    "kms:Encrypt",
    "kms:Decrypt",
    "kms:ReEncrypt*",
    "kms:GenerateDataKey*",
    "kms:DescribeKey"
  ],
  "Resource": "*"
}

Configurez les journaux des courtiers à l'aide du AWS Management Console

Si vous créez un cluster, recherchez l'en-tête de Broker log delivery (Transmission du journal d’agent) dans la section Monitoring (Surveillance) . Vous pouvez spécifier les destinations vers lesquelles vous souhaitez qu'Amazon MSK diffuse vos journaux d'agent.

Pour un cluster existant, choisissez ce dernier dans votre liste de clusters, puis sélectionnez l'onglet Propriétés. Faites défiler jusqu'à la section Diffusion de journaux, puis choisissez son bouton Modifier. Vous pouvez spécifier les destinations vers lesquelles vous souhaitez qu'Amazon MSK diffuse vos journaux d'agent.

Configurez les journaux des courtiers à l'aide du AWS CLI

Lorsque vous utilisez les commande update-monitoring ou create-cluster, vous pouvez éventuellement spécifier le paramètre logging-info et lui transmettre une structure JSON comme dans l'exemple suivant. Dans ce JSON, les trois types de destination sont facultatifs.

{
  "BrokerLogs": {
    "S3": {
      "Bucket": "amzn-s3-demo-bucket",
      "Prefix": "ExamplePrefix",
      "Enabled": true
    },
    "Firehose": {
      "DeliveryStream": "ExampleDeliveryStreamName",
      "Enabled": true
    },
    "CloudWatchLogs": {
      "Enabled": true,
      "LogGroup": "ExampleLogGroupName"
    }
  }
}

Configurer les journaux des courtiers à l'aide de l'API

Vous pouvez spécifier la loggingInfo structure facultative dans le JSON que vous transmettez aux UpdateMonitoringopérations CreateClusteror.