REL06-BP05 Analisar logs
Colete arquivos de log e históricos de métricas e analise-os para obter tendências mais abrangentes e informações sobre a workload.
O Amazon CloudWatch Logs Insights oferece suporte a uma linguagem de consulta simples, porém poderosa, que você pode usar para analisar dados de log. O Amazon CloudWatch Logs também oferece suporte a assinaturas que permitem que os dados fluam perfeitamente para o Amazon S3, onde você pode usar o ou o Amazon Athena para consultar os dados. Ele também oferece suporte a consultas em uma grande variedade de formatos. Para obter mais informações, consulte SerDes e formatos de dados compatíveis no Guia do usuário do Amazon Athena. Para análise de conjuntos enormes de arquivos de log, você pode executar um cluster do Amazon EMR para executar análises em escala de petabytes.
Existem várias ferramentas fornecidas por parceiros da AWS e terceiros que permitem agregação, processamento, armazenamento e estudo analítico. Essas ferramentas incluem New Relic, Splunk, Loggly, Logstash, CloudHealth e Nagios. Porém, a geração fora dos registros da aplicação e do sistema é única para cada provedor de nuvem e costuma ser única para cada serviço.
Uma parte do processo de monitoramento que costuma ser negligenciada é o gerenciamento de dados. Você precisa determinar os requisitos de retenção para monitorar os dados e então aplicar as políticas de ciclo de vida de acordo. O Amazon S3 é compatível com gerenciamento de ciclo de vida no nível do bucket do S3. Esse gerenciamento de ciclo de vida pode ser aplicado de modo diferente a diferentes caminhos no bucket. Mais perto do fim do ciclo de vida, você pode fazer a transição dos dados para o Amazon S3 Glacier para armazenamento de longo prazo e posterior expiração após o fim do período de retenção. A classe de armazenamento S3 Intelligent-Tiering foi projetada para otimizar custos movendo automaticamente dados para o nível de acesso mais econômico, sem impacto na performance ou sobrecarga operacional.
Nível de risco exposto se esta prática recomendada não for estabelecida: Médio
Orientação para implementação
-
O CloudWatch Logs Insights permite pesquisar e analisar dados de log de modo interativo no Amazon CloudWatch Logs.
-
Use o Amazon CloudWatch Logs para enviar logs ao Amazon S3, no qual você pode usar o Amazon Athena para consultar os dados.
-
Como analiso meus logs de acesso ao servidor do Amazon S3 usando o Athena?
-
Crie uma política de ciclo de vida do S3 para o bucket de logs de acesso ao seu servidor. Configure a política de ciclo de vida para remover periodicamente os arquivos de log. Fazer isso reduz a quantidade de dados que o Athena analisa para cada consulta.
-
-
Recursos
Documentos relacionados:
