Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

(Facoltativo) Configura Fluentd per inviare i log ai Logs DaemonSet CloudWatch

Per configurare Fluentd per raccogliere log dai container, puoi seguire i passaggi riportati in Configurazione rapida per Container Insights su Amazon EKS e Kubernetes o la procedura in questa sezione. Nei passaggi seguenti, si configura Fluentd per inviare i log DaemonSet ai log. CloudWatch Una volta completata questa fase, Fluentd crea i seguenti gruppi di log se non esistono già.

Fase 1: Creare uno spazio dei nomi per CloudWatch

Usa il passaggio seguente per creare uno spazio dei nomi Kubernetes richiesto. amazon-cloudwatch CloudWatch Puoi ignorare questa fase se questo spazio dei nomi è già stato creato.

Fase 2: installazione di Fluentd

Avvia questo processo scaricando Fluentd. Al termine di queste fasi, l'implementazione crea le risorse seguenti nel cluster:

Fase 3: verifica della configurazione Fluentd

Per verificare la configurazione di Fluentd, completa le seguenti operazioni.

Supporto per log multi-linea

Il 19 agosto 2019 abbiamo aggiunto il supporto per log multi-linea per i log raccolti da Fluentd.

Per impostazione predefinita, lo starter della voce del log multi-linea è qualsiasi carattere senza spazi vuoti. Questo significa che tutte le righe del log che iniziano con un carattere che non contiene spazi sono considerate come una nuova voce di log multi-linea.

Se i log dell'applicazione utilizzano uno starter multi-linea diverso, puoi supportarli apportando due modifiche al file fluentd.yaml.

Innanzitutto, escludili dal supporto multi-linea predefinito aggiungendo i nomi di percorso dei file di log a un campo exclude_path nella sezione containers di fluentd.yaml. Di seguito è riportato un esempio.

<source>
  @type tail
  @id in_tail_container_logs
  @label @containers
  path /var/log/containers/*.log
  exclude_path ["full_pathname_of_log_file*", "full_pathname_of_log_file2*"]

Quindi, aggiungi un blocco per i file di log al file fluentd.yaml. L'esempio seguente viene utilizzato per il file di registro dell' CloudWatch agente, che utilizza un'espressione regolare con timestamp come starter multilinea. Puoi copiare questo blocco e aggiungerlo a fluentd.yaml. Modifica le righe indicate per riflettere il nome del file di log dell'applicazione e lo starter multi-linea che desideri utilizzare.

<source>
  @type tail
  @id in_tail_cwagent_logs
  @label @cwagentlogs
  path /var/log/containers/cloudwatch-agent*
  pos_file /var/log/cloudwatch-agent.log.pos
  tag *
  read_from_head true
 <parse>
    @type json
    time_format %Y-%m-%dT%H:%M:%S.%NZ
 </parse>
</source> 

<label @cwagentlogs>
  <filter **>
    @type kubernetes_metadata
    @id filter_kube_metadata_cwagent
  </filter>

  <filter **>
    @type record_transformer
    @id filter_cwagent_stream_transformer
    <record>
      stream_name ${tag_parts[3]}
    </record>
 </filter>

  <filter **>
    @type concat
    key log
    multiline_start_regexp /^\d{4}[-/]\d{1,2}[-/]\d{1,2}/
    separator ""
    flush_interval 5
    timeout_label @NORMAL
 </filter>

 <match **>
    @type relabel
    @label @NORMAL
 </match>
</label>

(Facoltativo) Riduzione del volume di log da Fluentd

Per impostazione predefinita, inviamo i registri delle applicazioni Fluentd e i metadati Kubernetes a. CloudWatch Se desideri ridurre il volume di dati a cui inviare CloudWatch, puoi interrompere l'invio a una o entrambe queste fonti di dati. CloudWatch

Per arrestare i log dell'applicazione Fluentd, rimuovi la sezione seguente dal file fluentd.yaml.

<source>
  @type tail
  @id in_tail_fluentd_logs
  @label @fluentdlogs
  path /var/log/containers/fluentd*
  pos_file /var/log/fluentd.log.pos
  tag *
  read_from_head true
   <parse>
   @type json
   time_format %Y-%m-%dT%H:%M:%S.%NZ
  </parse>
</source>  

<label @fluentdlogs>
  <filter **>
    @type kubernetes_metadata
    @id filter_kube_metadata_fluentd
  </filter>

  <filter **>
    @type record_transformer
    @id filter_fluentd_stream_transformer
    <record>
      stream_name ${tag_parts[3]}
    </record>
   </filter>

   <match **>
     @type relabel
     @label @NORMAL
   </match>
</label>

Per evitare che i metadati Kubernetes vengano aggiunti agli eventi di registro a cui vengono inviati CloudWatch, aggiungi una riga alla sezione del record_transformer file. fluentd.yaml Nell'origine di log in cui desideri rimuovere questi metadati, aggiungi la riga seguente.

remove_keys $.kubernetes.pod_id, $.kubernetes.master_url, $.kubernetes.container_image_id, $.kubernetes.namespace_id

Ad esempio:

<filter **>
  @type record_transformer
  @id filter_containers_stream_transformer
  <record>
    stream_name ${tag_parts[3]}
  </record>
  remove_keys $.kubernetes.pod_id, $.kubernetes.master_url, $.kubernetes.container_image_id, $.kubernetes.namespace_id
</filter>

Risoluzione dei problemi

Se non vedi questi gruppi di log e stai cercando nella regione corretta, controlla i log dei pod Fluentd per cercare l'errore DaemonSet .

Esegui il comando seguente e accertati che lo stato sia Running.

kubectl get pods -n amazon-cloudwatch

Nei risultati del comando precedente, annota il nome del pod che inizia con fluentd-cloudwatch. Utilizza questo nome del pod nel comando seguente.

kubectl logs pod_name -n amazon-cloudwatch

Se i log contengono errori relativi alle IAM autorizzazioni, controlla il IAM ruolo associato ai nodi del cluster. Per ulteriori informazioni sulle autorizzazioni necessarie per gestire un EKS cluster Amazon, consulta Amazon EKS IAM Policies, Roles and Permissions nella Amazon EKS User Guide.

Se lo stato del pod è CreateContainerConfigError, ottieni l'errore preciso eseguendo il seguente comando.

kubectl describe pod pod_name -n amazon-cloudwatch

Se lo stato del pod è CrashLoopBackOff, assicurati che l'architettura dell'immagine di container Fluentd sia la stessa del nodo quando è stato installato Fluentd. Se il tuo cluster ha sia x86 che ARM64 nodi, puoi utilizzare un'etichetta kubernetes.io/arch per posizionare le immagini sul nodo corretto. Per ulteriori informazioni, consulta kuberntes.io/arch.