Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Les journaux de flux VPC collectent les données relatives au trafic IP entrant et sortant de votre VPC dans des enregistrements de journaux, agrègent ces enregistrements dans des fichiers journaux, puis publient les fichiers journaux dans le compartiment Amazon S3 toutes les 5 minutes. Plusieurs fichiers peuvent être publiés et chaque fichier journal peut contenir une partie ou la totalité des enregistrements de journaux de flux pour le trafic IP enregistré au cours des 5 dernières minutes.
Dans Amazon S3, le champ Last modified (Dernière modification) du fichier de journal de flux indique la date et l'heure du téléchargement du fichier dans le compartiment Amazon S3. Cette date est postérieure à l'horodatage du nom du fichier et diffère par le temps nécessaire pour charger le fichier vers le compartiment Amazon S3.
Format de fichier journal
Vous pouvez spécifier l'un des formats suivants pour les fichiers journaux. Chaque fichier est compressé dans un seul fichier Gzip.
-
Text : texte brut. Il s'agit du format par défaut.
-
Parquet : Apache Parquet est un format de données en colonnes. Les requêtes sur les données au format Parquet sont 10 à 100 fois plus rapides que les requêtes sur des données en texte brut. Les données au format Parquet avec compression Gzip occupent 20 % moins d'espace de stockage que le texte brut avec compression Gzip.
Note
Si les données en format Parquet avec compression Gzip sont inférieures à 100 Ko par période d'agrégation, le stockage des données en format Parquet peut prendre plus de place que le texte brut avec compression Gzip en raison des exigences de mémoire de fichiers Parquet.
Options de fichier journal
Le cas échéant, vous pouvez spécifier les options suivantes :
-
Hive-compatible S3 prefixes (Préfixes S3 compatibles Hive) : activez les préfixes compatibles Hive au lieu d'importer des partitions dans vos outils compatibles Hive. Avant d'exécuter des requêtes, utilisez la commande MSCK REPAIR TABLE.
-
Hourly partitions (Partitions horaires) : si vous disposez d'un grand volume de journaux et que vous ciblez généralement les requêtes à une heure spécifique, vous pouvez obtenir des résultats plus rapidement et économiser sur les coûts des requêtes en partitionnant les journaux toutes les heures.
Structure du compartiment S3 du fichier journal
Les fichiers journaux sont enregistrés dans le compartiment Amazon S3 indiqué à l'aide d'une structure de dossiers qui est déterminée par l'ID du journal de flux, sa région, sa date de création et ses options de destination.
Par défaut, les fichiers sont distribués vers l'emplacement suivant.
bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/Si vous activez les préfixes S3 compatibles Hive, les fichiers sont envoyés à l'emplacement suivant.
bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/aws-service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/Si vous activez les partitions horaires, les fichiers sont envoyés à l'emplacement suivant.
bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/hour/Si vous activez les partitions compatibles Hive et que vous partitionnez le journal de flux par heure, les fichiers sont envoyés à l'emplacement suivant.
bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/aws-service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/hour=hour/Noms des fichiers journaux
Le nom de fichier d'un fichier journal est basé sur l'ID du journal de flux, la région et la date et l'heure de création. Les noms de fichier utilisent le format suivant.
aws_account_id_vpcflowlogs_region_flow_log_id_YYYYMMDDTHHmmZ_hash.log.gzVoici un exemple de fichier journal pour un journal de flux créé par AWS compte 123456789012, pour une ressource dans le us-east-1 Région, Ontario June 20, 2018 à 16:20 UTC. Le fichier contient les enregistrements du journal de flux avec une heure de fin comprise entre 16:20:00 and 16:24:59.
123456789012_vpcflowlogs_us-east-1_fl-1234abcd_20180620T1620Z_fe123456.log.gz