Transit Gateway Flow Registra i record in Amazon S3 - Amazon VPC

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Transit Gateway Flow Registra i record in Amazon S3

I log di flusso possono pubblicare dati di log di flusso in Amazon S3.

Durante la pubblicazione in Amazon S3, i dati del log di flusso vengono pubblicati in un bucket Amazon S3 esistente specificato. I record del log di flusso per tutti i gateway di transito monitorati vengono pubblicati in una serie di oggetti file di log che sono archiviati nel bucket.

I costi di inserimento e archiviazione dei dati vengono applicati ai log venduti quando si pubblicano Amazon CloudWatch i log di flusso su Amazon S3. Per ulteriori informazioni sui CloudWatch prezzi dei log venduti, apri Amazon CloudWatch Pricing, scegli Logs, quindi trova Vending Logs.

Per creare un bucket Amazon S3 da utilizzare con i flussi di log, consulta Creazione di un bucket nella Guida per l'utente di Amazon Simple Storage Service.

Per ulteriori informazioni sulla registrazione di più account, consulta Registrazione centrale nella libreria di soluzioni di AWS .

Per ulteriori informazioni sui CloudWatch log, consulta Logs sent to Amazon S3 nella Amazon Logs User Guide CloudWatch .

File di log di flusso

VPCFlow Logs è una funzionalità che raccoglie i record dei log di flusso, li consolida in file di log e quindi li pubblica nel bucket Amazon S3 a intervalli di 5 minuti. Ogni file di log contiene record di log di flusso per il traffico IP registrato nei cinque minuti precedenti.

Le dimensioni file massime per un file di log sono di 75 MB. Se il file di log raggiunge le dimensioni massime previste entro il periodo di 5 minuti, il log di flusso smette di aggiungervi record. Pubblica il file di log nel bucket Amazon S3 e crea un nuovo file di log.

In Amazon S3, il campo Last modified (Ultima modifica) per il file di log di flusso indica la data e l'ora in cui il file è stato caricato nel bucket Amazon S3. Questa è successiva al timestamp nel nome del file e differisce per il tempo impiegato per caricare il file nel bucket Amazon S3.

Formato dei file di log

Per i file di log, puoi specificare uno dei seguenti formati. Ciascun file viene compresso in un singolo file Gzip.

  • Text: Testo normale. Questo è il formato predefinito.

  • Parquet: Apache Parquet è un formato dati colonnare. Le query sui dati in formato Parquet sono da 10 a 100 volte più veloci, rispetto alle query sui dati in testo normale. I dati in formato Parquet con compressione Gzip occupano il 20% di spazio di archiviazione in meno, rispetto al testo normale con compressione Gzip.

Opzioni di file di log

È inoltre possibile specificare le seguenti opzioni.

  • Hive-compatible S3 prefixes (Prefissi S3 compatibili con Hive): Abilita i prefissi compatibili con Hive invece di importare partizioni negli strumenti compatibili. Prima di eseguire query, utilizza il comando MSCK REPAIR TABLE.

  • Hourly partitions (Partizioni orarie): se disponi di un grande volume di registri e di solito indirizzi le query a un'ora specifica, partizionando i log su base oraria puoi ottenere risultati più rapidi e risparmiare sui costi delle query.

Struttura del bucket S3 dei file di log

I file di log vengono salvati nel bucket Amazon S3; utilizzando una struttura di cartelle determinata dall'ID del flusso di log, dalla Regione e dalla loro data di creazione.

Per impostazione predefinita, i file vengono recapitati alla seguente posizione.

bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/

Se abiliti i prefissi S3 compatibili con Hive, i file vengono recapitati nella seguente posizione.

bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/

Se abiliti le partizioni orarie, i file vengono recapitati nella seguente posizione.

bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/hour/

Se abiliti le partizioni compatibili con Hive e partizioni il flusso di log per ora, i file vengono recapitati nella posizione seguente.

bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/hour=hour/
Nome del file di log

Il nome di un file di log si basa sull'ID del flusso di log, sulla Regione e sulla data e ora di creazione. I nomi file utilizzano il formato seguente.

aws_account_id_vpcflowlogs_region_flow_log_id_YYYYMMDDTHHmmZ_hash.log.gz

Di seguito è riportato un esempio di file di registro per un log di flusso creato da Account AWS 123456789012, per una risorsa in us-east-1 Regione, su June 20, 2018 at 16:20 UTC. Il file contiene i record del registro di flusso con un orario di fine compreso tra 16:20:00 e 16:24:59.

123456789012_vpcflowlogs_us-east-1_fl-1234abcd_20180620T1620Z_fe123456.log.gz

IAMpolitica per IAM i responsabili che pubblicano i log di flusso su Amazon S3

Il IAM principale che crea il log di flusso deve disporre delle seguenti autorizzazioni, necessarie per pubblicare i log di flusso nel bucket Amazon S3 di destinazione.

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "logs:CreateLogDelivery", "logs:DeleteLogDelivery" ], "Resource": "*" } ] }

Autorizzazioni dei bucket Amazon S3 per log di flusso

Per impostazione predefinita, i bucket Amazon S3 e gli oggetti che contengono sono privati. Solo il proprietario del bucket può accedere al bucket e agli oggetti in esso archiviati. Il proprietario del bucket, tuttavia, può concedere l'accesso ad altre risorse e ad altri utenti scrivendo una policy di accesso.

Se l'utente che crea il flusso di log è il proprietario del bucket e ha le autorizzazioni PutBucketPolicy e GetBucketPolicy per il bucket, verrà automaticamente allegata la seguente policy al bucket. Questa policy sovrascrive qualsiasi policy esistente collegata al bucket.

In caso contrario, il proprietario del bucket deve aggiungere tale policy al bucket, specificando l'ID dell' Account AWS del creatore del flusso di log o la creazione del flusso di log fallirà. Per maggiori informazioni, consulta Utilizzo delle policy di bucket nella Guida per l'utente di Amazon Simple Storage Service.

{ "Version": "2012-10-17", "Statement": [ { "Sid": "AWSLogDeliveryWrite", "Effect": "Allow", "Principal": {"Service": "delivery.logs.amazonaws.com"}, "Action": "s3:PutObject", "Resource": "my-s3-arn", "Condition": { "StringEquals": { "s3:x-amz-acl": "bucket-owner-full-control", "aws:SourceAccount": account_id }, "ArnLike": { "aws:SourceArn": "arn:aws:logs:region:account_id:*" } } }, { "Sid": "AWSLogDeliveryCheck", "Effect": "Allow", "Principal": {"Service": "delivery.logs.amazonaws.com"}, "Action": ["s3:GetBucketAcl", "s3:ListBucket"], "Resource": "arn:aws:s3:::bucket_name", "Condition": { "StringEquals": { "aws:SourceAccount": account_id }, "ArnLike": { "aws:SourceArn": "arn:aws:logs:region:account_id:*" } } } ] }

Quello per cui hai specificato ARN my-s3-arn dipende dall'utilizzo o meno di prefissi S3 compatibili con Hive.

  • Prefissi di default

    arn:aws:s3:::bucket_name/optional_folder/AWSLogs/account_id/*
  • Prefissi S3 compatibili con Hive

    arn:aws:s3:::bucket_name/optional_folder/AWSLogs/aws-account-id=account_id/*

Come procedura ottimale, si consiglia di concedere queste autorizzazioni al responsabile del servizio di consegna dei log anziché al singolo individuo. Account AWS ARNs Una best practice è anche usare le chiavi di condizione aws:SourceAccount e aws:SourceArn per proteggersi dal problema del "confused deputy". L'account di origine è il proprietario del log di flusso e l'origine ARN è la jolly (*) ARN del servizio di log.

Politica chiave richiesta per l'uso con - SSE KMS

Puoi proteggere i dati nel tuo bucket Amazon S3 abilitando la crittografia lato server con chiavi gestite da Amazon S3 (-S3) o la crittografia lato server con chiavi (SSE-). KMS SSE KMS Per ulteriori informazioni, consulta Protezione dei dati con la crittografia lato server nella Guida per l'utente di Amazon S3.

Con SSE -KMS, puoi utilizzare una chiave gestita o una chiave gestita dal cliente. AWS Con una chiave AWS gestita, non puoi utilizzare la consegna tra account. I log di flusso vengono recapitati dall'account di recapito del log, pertanto è necessario concedere l'accesso per la consegna tra account. Per concedere l'accesso a più account al tuo bucket S3, utilizza una chiave gestita dal cliente e specifica l'Amazon Resource Name (ARN) della chiave gestita dal cliente quando abiliti la crittografia dei bucket. Per ulteriori informazioni, consulta Specifica della crittografia lato server con AWS KMS nella Guida per l'utente di Amazon S3.

Quando utilizzi SSE una chiave gestita dal cliente, devi aggiungere quanto segue alla policy chiave della tua chiave (non alla policy del bucket per il tuo bucket S3), in modo che VPC Flow Logs possa scrivere sul tuo bucket S3. KMS

{ "Sid": "Allow Transit Gateway Flow Logs to use the key", "Effect": "Allow", "Principal": { "Service": [ "delivery.logs.amazonaws.com" ] }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*" }

Autorizzazioni del file di log Amazon S3

Oltre alle policy dei bucket richieste, Amazon S3 utilizza le liste di controllo degli accessi ACLs () per gestire l'accesso ai file di registro creati da un log di flusso. Per impostazione predefinita, il proprietario del bucket dispone di autorizzazioni FULL_CONTROL su ogni file di log. Il proprietario della distribuzione dei log, se diverso dal proprietario del bucket, non dispone di autorizzazioni. L'account di distribuzione dei log dispone delle autorizzazioni READ e WRITE. Per ulteriori informazioni, consulta la panoramica di Access Control List (ACL) nella Guida per l'utente di Amazon Simple Storage Service.

Record di log di flusso elaborati in Amazon S3

I file di log sono compressi. Se si aprono i file di log utilizzando la console Amazon S3, vengono decompressi e i record del log di flusso visualizzati. Se i file vengono scaricati, devono essere decompressi per visualizzare i record del log di flusso.