Criar um log de fluxo para publicação no Amazon S3 - Amazon Virtual Private Cloud

Criar um log de fluxo para publicação no Amazon S3

Depois de criar e configurar o bucket do Amazon S3, você poderá criar logs de fluxo para as interfaces de rede, sub-redes e VPCs.

Pré-requisito

A entidade principal do IAM que cria o log de fluxo deve estar usando um perfil do IAM com as permissões a seguir, necessárias para publicar logs de fluxo no bucket de destino do Amazon S3.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogDelivery",
        "logs:DeleteLogDelivery"
      ],
      "Resource": "*"
    }
  ]
}
Para criar um log de fluxo usando o console

  1. Execute um destes procedimentos:

  2. Escolha Actions (Ações), Create flow log (Criar log de fluxo).

  3. Em Filter (Filtro), especifique o tipo de dados de tráfego de IP para registrar em log.

    • Aceitar: registre em log somente o tráfego aceito

    • Rejeitar: registre em log somente o tráfego rejeitado

    • Todos: registre em log o tráfego aceito e rejeitado.

  4. Em Maximum aggregation interval (Intervalo máximo de agregação), escolha o período máximo durante o qual um fluxo é capturado e agregado em um registro de log de fluxo.

  5. Em Destination (Destino), escolha Send to an Amazon S3 bucket (Enviar para um bucket do Amazon S3).

  6. Para S3 bucket ARN (ARN do bucket do S3), especifique o nome de recurso da Amazon (ARN) de um bucket existente do Amazon S3. Opcionalmente, é possível incluir uma subpasta. Por exemplo, para especificar uma subpasta chamada my-logs em um bucket chamado my-bucket, use o seguinte ARN:

    arn:aws:s3:::my-bucket/my-logs/

    O bucket não pode usar AWSLogs como um nome de subpasta, pois se trata de um termo reservado.

    Se você for o proprietário do bucket, criamos automaticamente uma política de recurso e a anexamos ao bucket. Para ter mais informações, consulte Permissões do bucket do Amazon S3 para logs de fluxo.

  7. Em Log record format (Formato de registro de log), selecione o formato para o registro de log de fluxo.

    • Para usar o formato de registro de log de fluxo padrão, escolha AWS default format (Formato padrão da ).

    • Para criar um formato personalizado, escolha Custom format (Formato personalizado). Em Log format (Formato de log), escolha os campos a serem incluídos no registro de log de fluxo.

  8. Para Metadados adicionais, escolha se quer incluir metadados do Amazon ECS no formato de log.

  9. Em Log file format (Formato de registro de log), especifique o formato do arquivo de log.

    • Texto: texto sem formatação. Esse é o formato padrão.

    • Parquet: Apache Parquet é um formato colunar de dados. Consultas sobre dados no formato Parquet são 10 a 100 vezes mais rápidas em comparação com consultas em dados em texto simples. Dados em formato Parquet com compressão Gzip ocupam 20% menos espaço de armazenamento do que o texto simples com compactação Gzip.

  10. (Opcional) Para usar prefixos S3 compatíveis com o Hive, escolha Hive-compatible S3 prefix (Prefixo do S3 compatível com Hive), Enable (Habilitar).

  11. (Opcional) Para particionar seus logs de fluxo por hora, escolha Every 1 hour (60 mins) (A cada 1 hora [60 minutos]).

  12. (Opcional) Para adicionar uma etiqueta ao log de fluxo, escolha Add new tag (Adicionar nova etiqueta) e especifique a chave e o valor da etiqueta.

  13. Selecione Create flow log (Criar log de fluxo).

Como criar um log de fluxo publicado no Amazon S3 usando uma ferramenta de linha de comando

Use um dos seguintes comandos:

O exemplo de AWS CLI a seguir cria um log de fluxo que captura todo o tráfego da VPC especificada e fornece os logs de fluxo ao bucket do Amazon S3 especificado. O parâmetro --log-format especifica um formato personalizado para os registros de log de fluxo.

aws ec2 create-flow-logs --resource-type VPC --resource-ids vpc-00112233344556677 --traffic-type ALL --log-destination-type s3 --log-destination arn:aws:s3:::flow-log-bucket/custom-flow-logs/ --log-format '${version} ${vpc-id} ${subnet-id} ${instance-id} ${srcaddr} ${dstaddr} ${srcport} ${dstport} ${protocol} ${tcp-flags} ${type} ${pkt-srcaddr} ${pkt-dstaddr}'