Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

(Facultatif) Configurez Fluentd en tant que DaemonSet pour envoyer des journaux à Logs CloudWatch

Pour configurer Fluentd afin de collecter les journaux de vos conteneurs, vous pouvez suivre les étapes de Configuration du démarrage rapide pour Container Insights sur Amazon EKS et Kubernetes ou celles de cette section. Dans les étapes suivantes, vous configurez Fluentd DaemonSet pour envoyer des journaux à CloudWatch Logs. Une fois que vous avez terminé cette étape, Fluentd crée les groupes de journaux suivants s'ils n'existent pas déjà.

Étape 1 : créer un espace de noms pour CloudWatch

Procédez comme suit pour créer l'espace de noms Kubernetes demandé. amazon-cloudwatch CloudWatch Vous pouvez ignorer cette étape si vous avez déjà créé cet espace de noms.

Étape 2 : Installer Fluentd

Pour commencer cette procédure, téléchargez Fluentd. Lorsque vous avez terminé cette procédure, le déploiement crée les ressources suivantes sur le cluster :

Étape 3 : Vérifier la configuration de Fluentd

Pour vérifier votre configuration Fluentd, procédez comme suit.

Prise en charge des journaux multilignes

Le 19 août 2019, nous avons ajouté la prise en charge des journaux multilignes pour les journaux collectés par Fluentd.

Par défaut, le déclencheur d'entrée de journal multiligne est n'importe quel caractère sans espace. Cela signifie que toutes les lignes de journal qui commencent par un caractère sans espace sont considérées comme une nouvelle entrée de journal multiligne.

Si vos propres journaux d'application utilisent un déclencheur multiligne différent, vous pouvez les prendre en charge en apportant deux modifications dans le fichier fluentd.yaml.

Tout d'abord, excluez-les de la prise en charge multiligne par défaut en ajoutant les noms de chemin de vos fichiers journaux dans un champ exclude_path de la section containers de fluentd.yaml. Voici un exemple.

<source>
  @type tail
  @id in_tail_container_logs
  @label @containers
  path /var/log/containers/*.log
  exclude_path ["full_pathname_of_log_file*", "full_pathname_of_log_file2*"]

Ensuite, ajoutez un bloc pour vos fichiers journaux au fichier fluentd.yaml. L'exemple ci-dessous est utilisé pour le fichier journal de l' CloudWatch agent, qui utilise une expression régulière d'horodatage comme point de départ multiligne. Vous pouvez copier ce bloc et l'ajouter à fluentd.yaml. Modifiez les lignes indiquées pour refléter le nom du fichier journal de votre application et le déclencheur multiligne que vous souhaitez utiliser.

<source>
  @type tail
  @id in_tail_cwagent_logs
  @label @cwagentlogs
  path /var/log/containers/cloudwatch-agent*
  pos_file /var/log/cloudwatch-agent.log.pos
  tag *
  read_from_head true
 <parse>
    @type json
    time_format %Y-%m-%dT%H:%M:%S.%NZ
 </parse>
</source> 

<label @cwagentlogs>
  <filter **>
    @type kubernetes_metadata
    @id filter_kube_metadata_cwagent
  </filter>

  <filter **>
    @type record_transformer
    @id filter_cwagent_stream_transformer
    <record>
      stream_name ${tag_parts[3]}
    </record>
 </filter>

  <filter **>
    @type concat
    key log
    multiline_start_regexp /^\d{4}[-/]\d{1,2}[-/]\d{1,2}/
    separator ""
    flush_interval 5
    timeout_label @NORMAL
 </filter>

 <match **>
    @type relabel
    @label @NORMAL
 </match>
</label>

(En option) Réduction du volume des journaux de Fluentd

Par défaut, nous envoyons les journaux des applications Fluentd et les métadonnées Kubernetes à. CloudWatch Si vous souhaitez réduire le volume de données à destination CloudWatch, vous pouvez arrêter l'envoi à l'une de ces sources de données ou aux deux CloudWatch.

Pour arrêter les journaux d'application Fluentd, supprimez la section suivante du fichier fluentd.yaml.

<source>
  @type tail
  @id in_tail_fluentd_logs
  @label @fluentdlogs
  path /var/log/containers/fluentd*
  pos_file /var/log/fluentd.log.pos
  tag *
  read_from_head true
   <parse>
   @type json
   time_format %Y-%m-%dT%H:%M:%S.%NZ
  </parse>
</source>  

<label @fluentdlogs>
  <filter **>
    @type kubernetes_metadata
    @id filter_kube_metadata_fluentd
  </filter>

  <filter **>
    @type record_transformer
    @id filter_fluentd_stream_transformer
    <record>
      stream_name ${tag_parts[3]}
    </record>
   </filter>

   <match **>
     @type relabel
     @label @NORMAL
   </match>
</label>

Pour empêcher l'ajout de métadonnées Kubernetes aux événements du journal envoyés à CloudWatch, ajoutez une ligne à la record_transformer section du fichier. fluentd.yaml Dans la source du journal dans laquelle vous souhaitez supprimer ces métadonnées, ajoutez la ligne suivante.

remove_keys $.kubernetes.pod_id, $.kubernetes.master_url, $.kubernetes.container_image_id, $.kubernetes.namespace_id

Par exemple :

<filter **>
  @type record_transformer
  @id filter_containers_stream_transformer
  <record>
    stream_name ${tag_parts[3]}
  </record>
  remove_keys $.kubernetes.pod_id, $.kubernetes.master_url, $.kubernetes.container_image_id, $.kubernetes.namespace_id
</filter>

Résolution des problèmes

Si vous ne voyez pas ces groupes de journaux et que vous recherchez dans la bonne région, consultez les journaux des DaemonSet pods Fluentd pour rechercher l'erreur.

Exécutez la commande suivante et vérifiez que l'état est Running.

kubectl get pods -n amazon-cloudwatch

Dans les résultats de la commande précédente, notez le nom du pod qui commence par fluentd-cloudwatch. Utilisez ce nom de pod dans la commande suivante.

kubectl logs pod_name -n amazon-cloudwatch

Si les journaux contiennent des erreurs liées aux IAM autorisations, vérifiez le IAM rôle attaché aux nœuds du cluster. Pour plus d'informations sur les autorisations requises pour exécuter un EKS cluster Amazon, consultez EKSIAMles politiques, les rôles et les autorisations Amazon dans le guide de EKS l'utilisateur Amazon.

Si l'état du pod est CreateContainerConfigError, exécutez la commande suivante pour obtenir l'erreur exacte.

kubectl describe pod pod_name -n amazon-cloudwatch

Si l'état du pod est CrashLoopBackOff, assurez-vous que l'architecture de l'image du conteneur Fluentd est la même que le nœud lorsque vous avez installé Fluentd. Si votre cluster possède à la fois x86 et ARM64 des nœuds, vous pouvez utiliser une étiquette kubernetes.io/arch pour placer les images sur le bon nœud. Pour plus d'informations, consultez kuberntes.io/arch.