(Opcional) Configurar o Fluentd como um DaemonSet para enviar logs ao CloudWatch Logs

Para configurar o Fluentd para coletar logs de seus contêineres, siga as etapas em Configuração de início rápido para o Container Insights no Amazon EKS e no Kubernetes ou siga as etapas nesta seção. Nas etapas a seguir, você configura o Fluentd como um DaemonSet para enviar logs ao CloudWatch Logs. Ao concluir esta etapa, o Fluentd criará os grupos de log a seguir, caso eles ainda não existam.

Etapa 1: Criar um namespace para o CloudWatch

Use a seguinte etapa para criar um namespace do Kubernetes chamado amazon-cloudwatch para o CloudWatch. Ignore essas etapas se você já tiver criado esse namespace.

Etapa 2: instalar o Fluentd

Inicie esse processo fazendo download do Fluentd. Ao concluir essas etapas, a implantação criará os seguintes recursos no cluster:

Etapa 3: Verificar a configuração do Fluentd

Para verificar a configuração do Fluentd, use as etapas a seguir.

Suporte a logs de várias linhas

Em 19 de agosto de 2019, adicionamos suporte a logs de várias linhas para os logs coletados pelo Fluentd.

Por padrão, o iniciador da entrada do log de várias linhas é qualquer caractere sem espaço em branco. Isso significa que todas as linhas do log que comecem com um caractere que não contenha espaço em branco são consideradas como uma nova entrada do log de várias linhas.

Se seus próprios logs de aplicação usarem um iniciador de várias linhas diferente, será possível oferecer suporte a eles fazendo duas alterações no arquivo fluentd.yaml.

Primeiro, exclua-os do suporte padrão de várias linhas adicionando os nomes de caminho dos arquivos de log a um campo exclude_path na seção containers de fluentd.yaml. Veja um exemplo a seguir.

<source>
  @type tail
  @id in_tail_container_logs
  @label @containers
  path /var/log/containers/*.log
  exclude_path ["full_pathname_of_log_file*", "full_pathname_of_log_file2*"]

Adicione um bloco para seus arquivos de log ao arquivo fluentd.yaml. O exemplo abaixo é usado para o arquivo de log do agente do CloudWatch, que usa uma expressão regular de carimbo de data/hora como o iniciador de várias linhas. Você pode copiar esse bloco e adicioná-lo ao fluentd.yaml. Altere as linhas indicadas para refletir o nome do arquivo de log da aplicação e o iniciador de várias linhas que você deseja usar.

<source>
  @type tail
  @id in_tail_cwagent_logs
  @label @cwagentlogs
  path /var/log/containers/cloudwatch-agent*
  pos_file /var/log/cloudwatch-agent.log.pos
  tag *
  read_from_head true
 <parse>
    @type json
    time_format %Y-%m-%dT%H:%M:%S.%NZ
 </parse>
</source> 

<label @cwagentlogs>
  <filter **>
    @type kubernetes_metadata
    @id filter_kube_metadata_cwagent
  </filter>

  <filter **>
    @type record_transformer
    @id filter_cwagent_stream_transformer
    <record>
      stream_name ${tag_parts[3]}
    </record>
 </filter>

  <filter **>
    @type concat
    key log
    multiline_start_regexp /^\d{4}[-/]\d{1,2}[-/]\d{1,2}/
    separator ""
    flush_interval 5
    timeout_label @NORMAL
 </filter>

 <match **>
    @type relabel
    @label @NORMAL
 </match>
</label>

(Opcional) Redução do volume de log do Fluentd

Por padrão, enviamos logs de aplicação do Fluentd e metadados do Kubernetes ao CloudWatch. Para reduzir o volume de dados que estão sendo enviados ao CloudWatch, você pode impedir que uma ou ambas as fontes de dados sejam enviadas ao CloudWatch.

Para interromper os logs da aplicação Fluentd, remova a seção a seguir do arquivo fluentd.yaml.

<source>
  @type tail
  @id in_tail_fluentd_logs
  @label @fluentdlogs
  path /var/log/containers/fluentd*
  pos_file /var/log/fluentd.log.pos
  tag *
  read_from_head true
   <parse>
   @type json
   time_format %Y-%m-%dT%H:%M:%S.%NZ
  </parse>
</source>  

<label @fluentdlogs>
  <filter **>
    @type kubernetes_metadata
    @id filter_kube_metadata_fluentd
  </filter>

  <filter **>
    @type record_transformer
    @id filter_fluentd_stream_transformer
    <record>
      stream_name ${tag_parts[3]}
    </record>
   </filter>

   <match **>
     @type relabel
     @label @NORMAL
   </match>
</label>

Para remover os metadados do Kubernetes, a fim de que não sejam anexados aos eventos de log enviados ao CloudWatch, adicione uma linha à seção record_transformer do arquivo fluentd.yaml. Na origem do log em que você deseja remover esses metadados, adicione a seguinte linha.

remove_keys $.kubernetes.pod_id, $.kubernetes.master_url, $.kubernetes.container_image_id, $.kubernetes.namespace_id

Por exemplo:

<filter **>
  @type record_transformer
  @id filter_containers_stream_transformer
  <record>
    stream_name ${tag_parts[3]}
  </record>
  remove_keys $.kubernetes.pod_id, $.kubernetes.master_url, $.kubernetes.container_image_id, $.kubernetes.namespace_id
</filter>

Solução de problemas

Caso não veja esses grupos de log e esteja procurando na região correta, verifique os logs para os pods do DaemonSet do Fluentd para procurar o erro.

Execute o comando a seguir para certificar-se de que o status seja Running.

kubectl get pods -n amazon-cloudwatch

Nos resultados do comando anterior, observe o nome do pod que começa com fluentd-cloudwatch. Use o nome desse pod no comando a seguir.

kubectl logs pod_name -n amazon-cloudwatch

Se os logs tiverem erros relacionados às permissões do IAM, verifique a função do IAM anexada aos nós do cluster. Para obter mais informações sobre as permissões necessárias para executar um cluster do Amazon EKS, consultePolíticas, funções, e permissões do Amazon EKS IAM no Manual do usuário do Amazon EKS.

Se o status do pod for CreateContainerConfigError, obtenha o erro exato executando o comando a seguir.

kubectl describe pod pod_name -n amazon-cloudwatch

Se o status do pod forCrashLoopBackOff, verifique se a arquitetura da imagem do contêiner do Fluentd é a mesma do nó quando você instalou o Fluentd. Se o cluster tiver nós x86 e ARM64, será possível usar um rótulo kubernetes.io/arch para colocar as imagens no nó correto. Para obter mais informações, consulte kuberntes.io/arch.