Esportazione di dati di log in Amazon S3 - CloudWatch Registri Amazon

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esportazione di dati di log in Amazon S3

Questo capitolo fornisce informazioni per esportare i dati di log dai gruppi di log in un bucket Amazon S3 per elaborazioni e analisi personalizzate o per caricarli su altri sistemi. È possibile eseguire l'esportazione in un bucket nello stesso account o in un account diverso.

Puoi eseguire le operazioni indicate di seguito:

  • Esporta i dati di registro in bucket S3 crittografati da SSE - in () KMS AWS Key Management Service AWS KMS

  • Esportazione dei dati di log in bucket S3 per i quali S3 Object Lock è abilitato con un periodo di conservazione

Nota

L'esportazione in Amazon S3 è supportata solo per i gruppi di log nella classe di log Standard. Per ulteriori informazioni sulle classi di log, consultaClassi di registro.

Per iniziare il processo di esportazione, è necessario creare un bucket S3 per archiviare i dati di log esportati. Puoi archiviare i file esportati nel bucket S3 e definire regole del ciclo di vita Amazon S3 per archiviare o eliminare i file esportati automaticamente.

Puoi esportare in bucket S3 crittografati con AES -256 o con -. SSE KMS L'esportazione in bucket crittografati con DSSE - non è supportata. KMS

Puoi esportare i log da più gruppi di log o da più intervalli di tempo nello stesso bucket S3. Per separare i dati di log per ogni attività di esportazione, puoi specificare un prefisso che verrà utilizzato come prefisso della chiave Amazon S3 per tutti gli oggetti esportati.

Nota

L'ordinamento basato sul tempo su blocchi di dati di log all'interno di un file esportato non è garantito. Puoi ordinare i dati del campo di log esportati utilizzando le utilità Linux. Ad esempio, il seguente comando di utilità ordina gli eventi in tutti i file .gz in una singola cartella.

find . -exec zcat {} + | sed -r 's/^[0-9]+/\x0&/' | sort -z

Il seguente comando di utilità ordina i file .gz da più sottocartelle.

find ./*/ -type f -exec zcat {} + | sed -r 's/^[0-9]+/\x0&/' | sort -z

Inoltre, puoi usare un altro comando stdout per reindirizzare l'output ordinato a un altro file per salvarlo.

Potrebbero essere necessarie fino a 12 ore affinché i dati di log diventino disponibili per l'esportazione. Le attività di esportazione scadono dopo 24 ore. Se le tue attività di esportazione sono scadute, riduci l'intervallo di tempo quando crei l'attività di esportazione.

Per un'analisi quasi in tempo reale dei dati di log, consulta Analisi dei dati di registro con CloudWatch Logs Insights o Elaborazione in tempo reale dei dati di log con le sottoscrizioni.

Concetti

Prima di iniziare, acquisisci familiarità con i seguenti concetti di esportazione:

nome gruppo di log

Il nome del gruppo di log associato a un'attività di esportazione. I dati di log di questo gruppo di log verranno esportati nel bucket S3 specificato.

da (timestamp)

Un timestamp obbligatorio espresso come numero di millisecondi a partire dalle 00:00:00 del 1° gennaio 1970. UTC Tutti gli eventi di registro nel gruppo di log che sono stati importati a partire da questo periodo verranno esportati.

a (timestamp)

Un timestamp obbligatorio espresso come numero di millisecondi a partire dalle 00:00:00 del 1° gennaio 1970. UTC Tutti gli eventi di log nel gruppo di log inseriti prima di questo momento saranno esportati.

bucket di destinazione

Il nome del bucket S3 associato a un'attività di esportazione. Questo bucket viene utilizzato per esportare i dati di log dal gruppo di log specificato.

prefisso di destinazione

Un attributo facoltativo utilizzato come prefisso della chiave Amazon S3 per tutti gli oggetti esportati. Questo ti aiuta a creare un'organizzazione con stile cartella nel bucket.