Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Exporter les données du journal vers Amazon S3
Ce chapitre fournit des informations qui vous permettent d'exporter les données de journal de vos groupes de journaux vers un compartiment Amazon S3 pour un traitement et une analyse personnalisés, ou pour les charger sur d'autres systèmes. Vous pouvez exporter vers un compartiment du même compte ou d'un autre compte.
Vous pouvez effectuer les actions suivantes :
-
Exportez les données du journal vers des compartiments S3 chiffrés par SSE - KMS in AWS Key Management Service ()AWS KMS
-
Exporter les données du journal vers les compartiments S3 dont le verrouillage d'objet S3 est activé avec une période de rétention
Note
L'exportation vers Amazon S3 n'est prise en charge que pour les groupes de journaux de la classe de journaux standard. Pour plus d'informations sur les classes de log, consultezClasses de log.
Pour lancer le processus d'exportation, vous devez créer un compartiment S3 pour stocker les données de journal exportées. Vous pouvez stocker les fichiers exportés dans votre compartiment S3 et définir des règles du cycle de vie Amazon S3 pour archiver ou supprimer automatiquement les fichiers exportés.
Vous pouvez exporter vers des compartiments S3 chiffrés avec AES -256 ou avec SSE -. KMS L'exportation vers des compartiments chiffrés avec DSSE - n'KMSest pas prise en charge.
Vous pouvez exporter les journaux de plusieurs groupes de journaux ou de plusieurs plages de temps dans le même compartiment S3. Pour séparer les données de journal pour chaque tâche d'exportation, vous pouvez spécifier un préfixe qui sera utilisé comme préfixe de clé Amazon S3 pour tous les objets exportés.
Note
Le tri temporel sur des fragments de données de journal dans un fichier exporté n'est pas garanti. Vous pouvez trier les données du fichier journal exporté à l'aide des utilitaires Linux. Par exemple, la commande utilitaire suivante permet de trier les événements dans tous les fichiers .gz dans un seul dossier.
find . -exec zcat {} + | sed -r 's/^[0-9]+/\x0&/' | sort -z
La commande utilitaire suivante permet de trier les fichiers .gz à partir de plusieurs sous-dossiers.
find ./*/ -type f -exec zcat {} + | sed -r 's/^[0-9]+/\x0&/' | sort -z
En outre, vous pouvez utiliser une autre commande stdout pour diriger la sortie triée vers un autre fichier afin de la sauvegarder.
Un délai de 12 h peut s'avérer nécessaire pour que les données des journaux deviennent disponibles pour l'exportation. Les tâches d'exportation expirent au bout de 24 heures. Si vos tâches d'exportation arrivent à expiration, réduisez l'intervalle de temps lors de la création de la tâche d'exportation.
Pour procéder à une analyse quasiment en temps réel des données des journaux, consultez plutôt Analyse des données des CloudWatch journaux avec Logs Insights ou Traitement en temps réel des données du journal avec les abonnements.
Table des matières
Concepts
Avant de commencer, familiarisez-vous avec les concepts d'exportation suivants :
- log group name
-
Nom du groupe de journaux associé à une tâche d'exportation. Les données de journaux dans ce groupe de journaux seront exportées dans le compartiment S3 spécifié.
- de (horodatage)
-
Un horodatage obligatoire exprimé en millisecondes depuis le 1er janvier 1970 00:00:00. UTC Tous les événements du groupe de journaux qui ont été ingérés à cette date ou après cette date seront exportés.
- à (horodatage)
-
Un horodatage obligatoire exprimé en millisecondes depuis le 1er janvier 1970 00:00:00. UTC Tous les événements de journal du groupe de journaux consignés avant cette heure seront exportés.
- compartiment de destination
-
Nom du compartiment S3 associé à une tâche d'exportation. Ce compartiment est utilisé pour exporter les données de journaux du groupe de journaux spécifié.
- préfixe de destination
-
Attribut facultatif utilisé comme préfixe de clé Amazon S3 pour tous les objets exportés. Cela permet de créer une organisation de type dossier dans votre compartiment.
