As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Registros de fluxo de log dos Transit Gateways no Amazon S3
Os logs de fluxo podem publicar dados de log de fluxo no Amazon S3.
Quando é feita uma publicação no Amazon S3, os dados de log de fluxo são publicados no bucket existente do Amazon S3 especificado. Os registros de log de fluxo para todos os gateways de trânsito monitorados são publicados em uma série de objetos de arquivos de log armazenados no bucket.
As taxas de ingestão e arquivamento de dados são aplicadas Amazon CloudWatch pelos registros vendidos quando você publica registros de fluxo no Amazon S3. Para obter mais informações sobre CloudWatch preços de registros vendidos, abra Amazon CloudWatch Pricing
Para criar um bucket do Amazon S3 para usar com logs de fluxo, consulte Criação de um bucket no Guia do usuário do Amazon S3.
Para obter mais informações sobre o registro em log de várias contas, consulte Logs centralizados
Para obter mais informações sobre CloudWatch registros, consulte Registros enviados para o Amazon S3 no Guia do usuário do Amazon CloudWatch Logs.
Arquivos de log de fluxo
Os logs de fluxo da VPC são um recurso que coleta registros de log de fluxo, consolida-os em arquivos de log e publica os arquivos de log no bucket do Amazon S3 a intervalos de cinco minutos. Cada arquivo de log contém os registros de log de fluxo para o tráfego de IP registrado nos últimos cinco minutos.
O tamanho máximo de um arquivo de log é de 75 MB. Se o arquivo de log atingir o limite de tamanho no período de 5 minutos, o log de fluxo deixará de adicionar registros de log de fluxo. Depois, ele publicará o log de fluxo no bucket do Amazon S3 e criará um novo arquivo de log.
No Amazon S3, o campo Última modificação do arquivo de log de fluxo indica a data e hora em que o arquivo foi carregado no bucket do Amazon S3. Esta indicação é posterior à data/hora no nome do arquivo e difere pela quantidade de tempo necessária para carregar o arquivo para o bucket do Amazon S3.
Formato do arquivo de log
É possível especificar um dos formatos a seguir para os arquivos de log. Cada arquivo é compactado em um único arquivo Gzip.
-
Texto: texto sem formatação. Esse é o formato padrão.
-
Parquet: Apache Parquet é um formato colunar de dados. Consultas sobre dados no formato Parquet são 10 a 100 vezes mais rápidas em comparação com consultas em dados em texto simples. Dados em formato Parquet com compressão Gzip ocupam 20% menos espaço de armazenamento do que o texto simples com compactação Gzip.
Opções do arquivo de log
Opcionalmente, é possível especificar as seguintes opções.
-
Prefixos S3 compatíveis com Hive: habilite prefixos compatíveis com o Hive em vez de importar partições para as ferramentas compatíveis com o Hive. Antes de executar consultas, use o comando MSCK REPAIR TABLE.
-
Partições por hora: se houver um grande volume de logs e tipicamente direcionar consultas para uma hora específica, pode-se obter resultados mais rápidos e economizar em custos de consulta ao particionar os logs a cada hora.
Estrutura do arquivo de log do bucket do S3
Os arquivos de log são salvos no bucket do Amazon S3 especificado por meio de uma estrutura de pastas determinada pelo ID do log de fluxo, pela região, pela data de criação e pelas opções de destino.
Por padrão, os arquivos são entregues no local a seguir.
bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/Ao habilitar prefixos S3 compatíveis com HIVE, os arquivos serão entregues no local a seguir.
bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/Ao habilitar partições por hora, os arquivos serão entregues no local a seguir.
bucket-and-optional-prefix/AWSLogs/account_id/vpcflowlogs/region/year/month/day/hour/Ao habilitar partições compatíveis com o Hive e particionar o log de fluxo por hora, os arquivos serão entregues no local a seguir.
bucket-and-optional-prefix/AWSLogs/aws-account-id=account_id/service=vpcflowlogs/aws-region=region/year=year/month=month/day=day/hour=hour/Nomes do arquivo de log
O nome de um arquivo de log é baseado na ID do log de fluxo, na região e na data e na hora de criação. Os nomes de arquivo usam o seguinte formato.
aws_account_id_vpcflowlogs_region_flow_log_id_YYYYMMDDTHHmmZ_hash.log.gzVeja a seguir um exemplo de um arquivo de log para um log de fluxo criado pelo Conta da AWS 123456789012, para um recurso no us-east-1 Região, em June 20, 2018 às 16:20 UTC. O arquivo contém os registros de log de fluxo com um horário de término entre 16:20:00 and 16:24:59.
123456789012_vpcflowlogs_us-east-1_fl-1234abcd_20180620T1620Z_fe123456.log.gzPolítica do IAM para entidades principais do IAM que publicam logs de fluxo no Amazon S3
A entidade principal do IAM que cria o log de fluxo deve ter as permissões a seguir, necessárias para publicar logs de fluxo no bucket de destino do Amazon S3.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "logs:CreateLogDelivery", "logs:DeleteLogDelivery" ], "Resource": "*" } ] }
Permissões do bucket do Amazon S3 para logs de fluxo
Por padrão, os buckets do Amazon S3 e os objetos que eles contêm são privados. Somente o proprietário do bucket pode acessá-los. No entanto, o proprietário do bucket pode conceder acesso a outros recursos e usuários por meio da criação de uma política de acesso.
Se o usuário que cria um log de fluxo for proprietário do bucket e tiver as permissões PutBucketPolicy e GetBucketPolicy para este bucket, as políticas a seguir serão automaticamente anexadas. Esta política substitui qualquer política existente anexada ao bucket.
Caso contrário, o proprietário do bucket deve adicionar essa política ao bucket, especificando o ID da Conta da AWS do criador de log de fluxo ou falha na criação do log de fluxo. Para obter mais informações, consulte as políticas de bucket no Guia do usuário do Amazon Simple Storage Service.
{ "Version": "2012-10-17", "Statement": [ { "Sid": "AWSLogDeliveryWrite", "Effect": "Allow", "Principal": {"Service": "delivery.logs.amazonaws.com"}, "Action": "s3:PutObject", "Resource": "my-s3-arn", "Condition": { "StringEquals": { "s3:x-amz-acl": "bucket-owner-full-control", "aws:SourceAccount":account_id}, "ArnLike": { "aws:SourceArn": "arn:aws:logs:region:account_id:*" } } }, { "Sid": "AWSLogDeliveryCheck", "Effect": "Allow", "Principal": {"Service": "delivery.logs.amazonaws.com"}, "Action": ["s3:GetBucketAcl", "s3:ListBucket"], "Resource": "arn:aws:s3:::bucket_name", "Condition": { "StringEquals": { "aws:SourceAccount":account_id}, "ArnLike": { "aws:SourceArn": "arn:aws:logs:region:account_id:*" } } } ] }
O ARN que você especifica my-s3-arn depende do uso de prefixos S3 compatíveis com o Hive.
-
Prefixos padrão
arn:aws:s3:::bucket_name/optional_folder/AWSLogs/account_id/* -
Prefixos S3 compatíveis com Hive
arn:aws:s3:::bucket_name/optional_folder/AWSLogs/aws-account-id=account_id/*
Como prática recomendada, recomendamos que você conceda essas permissões ao responsável pelo serviço de entrega de registros, em vez de individualmente Conta da AWS ARNs. Outra prática recomendada é o uso das chaves de condição aws:SourceAccount e aws:SourceArn para se proteger contra O problema do agente confuso. A conta de origem é o proprietário do log de fluxo e o ARN de origem é o ARN curinga (*) do serviço de logs.
Política de chaves obrigatórias para uso com SSE-KMS
É possível proteger os dados no bucket do Amazon S3 habilitando a criptografia no lado do servidor com chaves gerenciadas pelo Amazon S3 (SSE-S3) ou a criptografia no lado do servidor com chaves do KMS (SSE-KMS). Para obter mais informações, consulte Proteger dados usando criptografia do lado do servidor no Manual do usuário do Amazon S3.
Com o SSE-KMS, você pode usar uma chave gerenciada ou uma chave AWS gerenciada pelo cliente. Com uma chave AWS gerenciada, você não pode usar a entrega entre contas. Os logs de fluxo são entregues a partir da conta de entrega de log, portanto, é necessário conceder acesso para entrega entre contas. Para conceder acesso entre contas ao bucket do S3, use uma chave gerenciada pelo cliente e especifique o nome do recurso da Amazon (ARN) da chave gerenciada pelo cliente quando habilitar a criptografia de bucket. Para obter mais informações, consulte Especificação de criptografia no lado do servidor com o AWS KMS no Manual do usuário do Amazon S3.
Ao usar o SSE-KMS com uma chave gerenciada pelo cliente, deve-se adicionar o seguinte à política de chave da chave (não à política de bucket do bucket do S3) para que o VPC Flow Logs possa gravar no bucket do S3.
nota
O uso do S3 Bucket Keys permite que você economize nos custos de solicitação AWS Key Management Service (AWS KMS) diminuindo suas solicitações AWS KMS para as operações Encrypt, GenerateDataKey, e Decrypt por meio do uso de uma chave em nível de bucket. Por definição, as solicitações subsequentes que aproveitam essa chave em nível de bucket não resultam em solicitações de AWS KMS API nem validam o acesso em relação à AWS KMS política de chaves.
{ "Sid": "Allow Transit Gateway Flow Logs to use the key", "Effect": "Allow", "Principal": { "Service": [ "delivery.logs.amazonaws.com" ] }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*" }
Permissões de arquivo de log do Amazon S3
Além das políticas de bucket necessárias, o Amazon S3 usa listas de controle de acesso (ACLs) para gerenciar o acesso aos arquivos de log criados por um log de fluxo. Por padrão, o proprietário do bucket tem permissões FULL_CONTROL em cada arquivo de log. O proprietário da entrega de logs, se é diferente do proprietário do bucket, não tem nenhuma permissão. A conta de entrega de logs tem permissões READ e WRITE. Para obter mais informações, consulte Visão geral da lista de controle de acesso (ACL) no Guia do usuário do Amazon Simple Storage Service.
Registros de log de fluxo processados no Amazon S3
Os arquivos de log são compactados. Quando os arquivos de log são abertos usando o console do Amazon S3, eles serão descompactados, e os registros de log de fluxo serão exibidos. Se os arquivos forem baixados, será necessário descompactá-los para visualizar os registros de log de fluxo.
