As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Exportar dados de log para o Amazon S3
Este capítulo fornece informações para que você possa exportar dados de log dos grupos de logs para um bucket do Amazon S3 para processamento personalizado e análise ou para carregar em outros sistemas. É possível exportar para um bucket na mesma conta ou em uma conta diferente.
Você pode fazer o seguinte:
-
Exporte dados de log para buckets do S3 que são criptografados por SSE - KMS in AWS Key Management Service ()AWS KMS
-
Exportar dados de log para buckets do S3 com o S3 Object Lock ativado com um período de retenção
nota
A exportação para o Amazon S3 só é compatível com grupos de log da classe de logs Padrão. Para obter mais informações sobre classes de logs, consulte Classes de logs.
Recomendamos que você não exporte regularmente para o Amazon S3 como forma de arquivar continuamente seus registros. Para esse caso de uso, recomendamos que você use assinaturas. Para obter mais informações sobre assinaturas, consulte. Processamento em tempo real de dados de log com assinaturas
Para iniciar o processo de exportação, você deve criar um bucket do S3 para armazenar os dados de log exportados. Você pode armazenar os arquivos exportados em seu bucket do Amazon S3 e definir regras de ciclo de vida do S3 para arquivar ou excluir arquivos exportados automaticamente.
Você pode exportar para buckets do S3 criptografados com AES -256 ou com -. SSE KMS A exportação para buckets criptografados com DSSE - não KMS é suportada.
Você pode exportar logs de vários grupos de log ou vários intervalos de tempo para o mesmo bucket do S3. Para separar dados de log para cada tarefa de exportação, é possível especificar um prefixo que será usado como o prefixo das chaves do Amazon S3 para todos os objetos exportados.
nota
A classificação baseada em tempo em pedaços de dados de log dentro de um arquivo exportado não é garantida. Você pode classificar os dados exportados do campo de log usando os utilitários do Linux. Por exemplo, o comando de utilitário a seguir classifica os eventos em todos os arquivos .gz em uma única pasta.
find . -exec zcat {} + | sed -r 's/^[0-9]+/\x0&/' | sort -z
O comando de utilitário a seguir classifica os arquivos .gz de várias subpastas.
find ./*/ -type f -exec zcat {} + | sed -r 's/^[0-9]+/\x0&/' | sort -z
Além disso, você pode usar outro comando stdout para canalizar a saída classificada para outro arquivo e salvá-la.
Pode levar até 12 horas para os dados de log se tornarem disponíveis para exportação. O tempo limite para exportar de dados de log é de 24 horas. Se suas tarefas de exportação estiverem atingindo o tempo limite, reduza o intervalo de tempo quando criar a tarefa de exportação.
Para obter informações sobre análise quase em tempo real de dados de log, consulte Análise de dados de registro com o CloudWatch Logs Insights ou Processamento em tempo real de dados de log com assinaturas.
Conteúdo
Conceitos
Antes de começar, familiarize-se com os seguintes conceitos de exportação:
- nome do grupo de logs
-
O nome do grupo de logs associado a uma tarefa de exportação. Os dados de log neste grupo serão exportados para o bucket especificado do S3.
- de (timestamp)
-
Um timestamp obrigatório expresso como o número de milissegundos desde 1º de janeiro de 1970 00:00:00. UTC Todos os eventos de log do grupo de logs que foram ingeridos a partir dessa hora serão exportados.
- a (timestamp)
-
Um timestamp obrigatório expresso como o número de milissegundos desde 1º de janeiro de 1970 00:00:00. UTC Todos os eventos de log no grupo de logs que foram ingeridos antes desse período serão exportados.
- bucket de destino
-
O nome do bucket do S3 associado a uma tarefa de exportação. Esse bucket é usado para exportar os dados de log do grupo de logs especificado.
- prefixo de destino
-
Um atributo opcional que é usado como o prefixo de chave do Amazon S3 para todos os objetos exportados. Isso ajuda a criar uma organização do tipo pasta em seu bucket.
