Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
I log di flusso possono pubblicare dati di log di flusso in Amazon S3.
Durante la pubblicazione in Amazon S3, i dati del log di flusso vengono pubblicati in un bucket Amazon S3 esistente specificato. I record del log di flusso per tutti i gateway di transito monitorati vengono pubblicati in una serie di oggetti file di log che sono archiviati nel bucket.
I costi di inserimento e archiviazione dei dati vengono applicati ai log venduti quando si pubblicano Amazon CloudWatch i log di flusso su Amazon S3. Per ulteriori informazioni sui CloudWatch prezzi dei log venduti, apri Amazon CloudWatch Pricing
Per creare un bucket Amazon S3 da utilizzare con i log di flusso, consulta Create a bucket nella Amazon S3 User Guide.
Per ulteriori informazioni sulla registrazione di più account, consulta Registrazione central
Per ulteriori informazioni sui CloudWatch log, consulta Logs sent to Amazon S3 nella Amazon Logs User Guide CloudWatch .
File di log di flusso
Log di flusso VPC è una caratteristica che raccoglie record di log di flusso, li consolida in file di log e pubblica questi ultimi nel bucket Amazon S3 a intervalli di cinque minuti. Ogni file di log contiene record di log di flusso per il traffico IP registrato nei cinque minuti precedenti.
Le dimensioni file massime per un file di log sono di 75 MB. Se il file di log raggiunge le dimensioni massime previste entro il periodo di 5 minuti, il log di flusso smette di aggiungervi record. Pubblica il file di log nel bucket Amazon S3 e crea un nuovo file di log.
In Amazon S3, il campo Last modified (Ultima modifica) per il file di log di flusso indica la data e l'ora in cui il file è stato caricato nel bucket Amazon S3. Questa è successiva al timestamp nel nome del file e differisce per il tempo impiegato per caricare il file nel bucket Amazon S3.
Formato dei file di log
Per i file di log, puoi specificare uno dei seguenti formati. Ciascun file viene compresso in un singolo file Gzip.
-
Text: Testo normale. Questo è il formato predefinito.
-
Parquet: Apache Parquet è un formato dati colonnare. Le query sui dati in formato Parquet sono da 10 a 100 volte più veloci, rispetto alle query sui dati in testo normale. I dati in formato Parquet con compressione Gzip occupano il 20% di spazio di archiviazione in meno, rispetto al testo normale con compressione Gzip.
Opzioni di file di log
È inoltre possibile specificare le seguenti opzioni.
-
Hive-compatible S3 prefixes (Prefissi S3 compatibili con Hive): Abilita i prefissi compatibili con Hive invece di importare partizioni negli strumenti compatibili. Prima di eseguire query, utilizza il comando MSCK REPAIR TABLE.
-
Hourly partitions (Partizioni orarie): se disponi di un grande volume di registri e di solito indirizzi le query a un'ora specifica, partizionando i log su base oraria puoi ottenere risultati più rapidi e risparmiare sui costi delle query.
Struttura del bucket S3 dei file di log
I file di log vengono salvati nel bucket Amazon S3; utilizzando una struttura di cartelle determinata dall'ID del flusso di log, dalla Regione e dalla loro data di creazione.
Per impostazione predefinita, i file vengono recapitati alla seguente posizione.
bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/Se abiliti i prefissi S3 compatibili con Hive, i file vengono recapitati nella seguente posizione.
bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/Se abiliti le partizioni orarie, i file vengono recapitati nella seguente posizione.
bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/hour/Se abiliti le partizioni compatibili con Hive e partizioni il flusso di log per ora, i file vengono recapitati nella posizione seguente.
bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/hour=hour/Nome del file di log
Il nome di un file di log si basa sull'ID del flusso di log, sulla Regione e sulla data e ora di creazione. I nomi file utilizzano il formato seguente.
aws_account_id_vpcflowlogs_region_flow_log_id_YYYYMMDDTHHmmZ_hash.log.gzDi seguito è riportato un esempio di file di registro per un log di flusso creato da Account AWS 123456789012, per una risorsa in us-east-1 Regione, su June 20, 2018 at 16:20 UTC. Il file contiene i record del registro di flusso con un orario di fine compreso tra 16:20:00 e 16:24:59.
123456789012_vpcflowlogs_us-east-1_fl-1234abcd_20180620T1620Z_fe123456.log.gzPolicy IAM per le entità IAM che pubblicano i log di flusso in Amazon S3
Il principale IAM che crea il log di flusso deve disporre delle autorizzazioni seguenti, necessarie per pubblicare log di flusso nel bucket Amazon S3 di destinazione.
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"logs:CreateLogDelivery",
"logs:DeleteLogDelivery"
],
"Resource": "*"
}
]
}Autorizzazioni dei bucket Amazon S3 per log di flusso
Per impostazione predefinita, i bucket Amazon S3 e gli oggetti che contengono sono privati. Solo il proprietario del bucket può accedere al bucket e agli oggetti in esso archiviati. Il proprietario del bucket, tuttavia, può concedere l'accesso ad altre risorse e ad altri utenti scrivendo una policy di accesso.
Se l'utente che crea il flusso di log è il proprietario del bucket e ha le autorizzazioni PutBucketPolicy e GetBucketPolicy per il bucket, verrà automaticamente allegata la seguente policy al bucket. Questa policy sovrascrive qualsiasi policy esistente collegata al bucket.
In caso contrario, il proprietario del bucket deve aggiungere tale policy al bucket, specificando l'ID dell' Account AWS del creatore del flusso di log o la creazione del flusso di log fallirà. Per ulteriori informazioni, consulta le politiche di Bucket nella Guida per l'utente di Amazon Simple Storage Service.
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "AWSLogDeliveryWrite",
"Effect": "Allow",
"Principal": {"Service": "delivery.logs.amazonaws.com"},
"Action": "s3:PutObject",
"Resource": "my-s3-arn",
"Condition": {
"StringEquals": {
"s3:x-amz-acl": "bucket-owner-full-control",
"aws:SourceAccount": account_id
},
"ArnLike": {
"aws:SourceArn": "arn:aws:logs:region:account_id:*"
}
}
},
{
"Sid": "AWSLogDeliveryCheck",
"Effect": "Allow",
"Principal": {"Service": "delivery.logs.amazonaws.com"},
"Action": ["s3:GetBucketAcl", "s3:ListBucket"],
"Resource": "arn:aws:s3:::bucket_name",
"Condition": {
"StringEquals": {
"aws:SourceAccount": account_id
},
"ArnLike": {
"aws:SourceArn": "arn:aws:logs:region:account_id:*"
}
}
}
]
}L'ARN specificato my-s3-arn dipende dall'utilizzo o meno di prefissi S3 compatibili con Hive.
-
Prefissi di default
arn:aws:s3:::bucket_name/optional_folder/AWSLogs/account_id/* -
Prefissi S3 compatibili con Hive
arn:aws:s3:::bucket_name/optional_folder/AWSLogs/aws-account-id=account_id/*
Come procedura ottimale, si consiglia di concedere queste autorizzazioni al responsabile del servizio di consegna dei log anziché al singolo individuo. Account AWS ARNs Una best practice è anche usare le chiavi di condizione aws:SourceAccount e aws:SourceArn per proteggersi dal problema del "confused deputy". L'account di origine è il proprietario del flusso di log e l'ARN di origine è l'ARN jolly (*) del servizio log.
Policy di chiave richiesta per l'uso con SSE-KMS
Puoi proteggere i dati nel tuo bucket Amazon S3 abilitando la crittografia lato server con Amazon S3 Managed Keys (SSE-S3) o la crittografia lato server con chiavi archiviate in KMS (SSE-KMS). Per ulteriori informazioni, consulta Protezione dei dati con la crittografia lato server nella Guida per l'utente di Amazon S3.
Con SSE-KMS, puoi utilizzare una chiave gestita o una chiave AWS gestita dal cliente. Con una chiave AWS gestita, non è possibile utilizzare la consegna tra account. I log di flusso vengono recapitati dall'account di recapito del log, pertanto è necessario concedere l'accesso per la consegna tra account. Per concedere l'accesso tra account al tuo bucket S3, usa una chiave gestita dal cliente e specifica l'Amazon Resource Name (ARN) della chiave gestita dal cliente quando abiliti la crittografia del bucket. Per ulteriori informazioni, consulta Specifica della crittografia lato server con AWS KMS nella Guida per l'utente di Amazon S3.
Quando utilizzi SSE-KMS con una chiave gestita dal cliente, dovrai aggiungere quanto segue alla policy di chiavi per la tua chiave (non la policy di bucket per il bucket S3), in modo che i flussi di log del VPC possano scrivere nel bucket S3.
Nota
L'utilizzo di S3 Bucket Keys ti consente di risparmiare sui AWS Key Management Service (AWS KMS) costi delle richieste diminuendo le richieste AWS KMS per le operazioni di crittografia e decrittografia tramite l'uso di una chiave a livello di bucket. GenerateDataKey In base alla progettazione, le richieste successive che sfruttano questa chiave a livello di bucket non generano richieste API né convalidano l'accesso in AWS KMS base alla policy della chiave. AWS KMS
{
"Sid": "Allow Transit Gateway Flow Logs to use the key",
"Effect": "Allow",
"Principal": {
"Service": [
"delivery.logs.amazonaws.com"
]
},
"Action": [
"kms:Encrypt",
"kms:Decrypt",
"kms:ReEncrypt*",
"kms:GenerateDataKey*",
"kms:DescribeKey"
],
"Resource": "*"
}Autorizzazioni del file di log Amazon S3
Oltre alle policy dei bucket richieste, Amazon S3 utilizza le liste di controllo degli accessi ACLs () per gestire l'accesso ai file di registro creati da un log di flusso. Per impostazione predefinita, il proprietario del bucket dispone di autorizzazioni FULL_CONTROL su ogni file di log. Il proprietario della distribuzione dei log, se diverso dal proprietario del bucket, non dispone di autorizzazioni. L'account di distribuzione dei log dispone delle autorizzazioni READ e WRITE. Per ulteriori informazioni, consulta la panoramica dell'elenco di controllo degli accessi (ACL) nella Guida per l'utente di Amazon Simple Storage Service.
Record di log di flusso elaborati in Amazon S3
I file di log sono compressi. Se si aprono i file di log utilizzando la console Amazon S3, vengono decompressi e i record del log di flusso visualizzati. Se i file vengono scaricati, devono essere decompressi per visualizzare i record del log di flusso.
