Archivos de registro de flujo
Los registros de flujo de VPC recopilan datos sobre el tráfico IP que entra y sale de su VPC en colecciones de registro, agregan esos registros en archivos de registro y, a continuación, publican los archivos de registro en el bucket de Amazon S3 en intervalos de cinco minutos. Se pueden publicar varios archivos y cada registro de archivo puede contener algunos o todos los registros de flujo del tráfico IP registrado en los cinco minutos anteriores.
En Amazon S3, el campo Last modified (Última modificación) del archivo de registro de flujo indica la fecha y la hora en que el archivo se cargó en el bucket de Amazon S3. Este valor es posterior a la marca temporal del nombre de archivo y difiere en la cantidad de tiempo invertido en cargar el archivo en el bucket de Amazon S3.
Formato de archivo de registro
Puede especificar uno de los siguientes formatos para los archivos de registro. Cada archivo se comprime en un único archivo Gzip.
-
Texto: Texto sin formato. Este es el formato predeterminado.
-
Parquet: Apache Parquet es un formato de datos columnar. Las consultas sobre los datos en formato Parquet son de 10 a 100 veces más rápidas en comparación con las consultas de datos en texto sin formato. Los datos en formato Parquet con compresión Gzip ocupan un 20 por ciento menos de espacio de almacenamiento que el texto sin formato con compresión Gzip.
nota
Si los datos en formato Parquet con compresión Gzip pesan menos de 100 KB por período de agregación, el almacenamiento de los datos en formato Parquet puede ocupar más espacio que el texto sin formato con compresión Gzip debido a los requisitos de memoria de los archivos de Parquet.
Opciones de archivo de registro
Puede especificar las siguientes opciones:
-
Prefijos de S3 compatibles con Hive: Habilite los prefijos compatibles con Hive en lugar de importar las particiones a las herramientas compatibles con Hive. Antes de ejecutar las consultas, utilice el comando MSCK REPAIR TABLE.
-
Particiones por horas: Si tiene un gran volumen de registros y, por lo general, orienta las consultas a una hora en específico, puede obtener resultados más rápidos y ahorrar en costos de consulta si particiona los registros por hora.
Estructura del bucket de S3 del archivo de registro
Los archivos de registro se guardan en el bucket de Amazon S3 especificado con una estructura de carpetas basada en el ID del registro de flujo, la Región, la fecha en que se crearon y en las opciones de destino.
De forma predeterminada, los archivos se entregan en la siguiente ubicación.
bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/Si habilita los prefijos de S3 compatibles con Hive, los archivos se entregan en la siguiente ubicación.
bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/aws-service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/Si habilita particiones por hora, los archivos se entregan en la siguiente ubicación.
bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/hour/Si habilita particiones compatibles con Hive y particiona el registro de flujo por hora, los archivos se entregan en la siguiente ubicación.
bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/aws-service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/hour=hour/Nombre de archivo de registro
El nombre de archivo de un archivo de registro se basa en el ID del registro de flujo, la Región y en la fecha y hora de creación. Los nombres de archivo utilizan el formato siguiente.
aws_account_id_vpcflowlogs_region_flow_log_id_YYYYMMDDTHHmmZ_hash.log.gzA continuación, se muestra un ejemplo de un archivo de registros para un registro de flujo que la cuenta 123456789012 de AWS ha creado para un recurso en la Región us-east-1, el June 20, 2018 a las 16:20 UTC. El archivo contiene las colecciones de datos del registro de flujo con una hora de finalización entre las 16:20:00 y las 16:24:59.
123456789012_vpcflowlogs_us-east-1_fl-1234abcd_20180620T1620Z_fe123456.log.gz