(선택 사항) Fluentd를 DaemonSet로 설정하여 CloudWatch Logs에 로그 전송

Fluentd를 설정하여 컨테이너에서 로그를 수집하려면 Amazon EKS 및 Kubernetes에서 Container Insights의 빠른 시작 설정의 절차를 따르거나 이 섹션의 절차를 따르면 됩니다. 다음 단계에서는 FluentD를 DaemonSet로 설정하여 CloudWatch Logs에 로그를 전송합니다. 이 단계가 완료되고 로그 그룹이 아직 존재하지 않으면 Fluentd가 다음과 같이 로그 그룹을 생성합니다.

1단계: CloudWatch의 네임스페이스 생성

다음 단계를 통해 CloudWatch에 대해 amazon-cloudwatch라는 Kubernetes 네임스페이스를 생성합니다. 이 네임스페이스를 이미 생성했다면 이 단계를 건너뛸 수 있습니다.

2단계: Fluentd 설치

Fluentd를 다운로드하여 이 프로세스를 시작합니다. 이러한 단계를 완료하면 배포된 에이전트에서 클러스터에 대해 다음과 같은 리소스가 생성됩니다.

3단계: Fluentd 설정 확인

다음 단계를 이용하여 Fluentd 설정을 확인합니다.

여러 줄 로그 지원

2019년 8월 19일에 Fluentd에서 수집한 로그에 대한 여러 줄 로그 지원을 추가했습니다.

기본적으로 여러 줄 로그 항목 스타터는 공백이 포함되지 않은 임의의 문자입니다. 이는 공백이 포함되지 않은 문자로 시작하는 모든 로그 행이 새로운 여러 줄 로그 항목으로 간주됨을 뜻합니다.

자체 애플리케이션 로그에서 다른 여러 줄 스타터를 사용하는 경우 fluentd.yaml 파일에서 두 가지 사항을 변경하여 이를 지원할 수 있습니다.

먼저 fluentd.yaml의 containers 섹션에 있는 exclude_path 필드에 로그 파일의 경로 이름을 추가하여 기본 여러 줄 지원에서 해당 로그를 제외합니다. 다음은 예입니다.

<source>
  @type tail
  @id in_tail_container_logs
  @label @containers
  path /var/log/containers/*.log
  exclude_path ["full_pathname_of_log_file*", "full_pathname_of_log_file2*"]

그 다음 로그 파일에 대한 블록을 fluentd.yaml 파일에 추가합니다. 아래 예는 타임스탬프 정규 표현식을 여러 줄 스타터로 사용하는 CloudWatch 에이전트의 로그 파일에 사용됩니다. 이 블록을 복사하여 fluentd.yaml에 추가할 수 있습니다. 표시된 줄을 변경하여 사용하려는 애플리케이션 로그 파일 이름과 여러 줄 스타터를 반영하게 합니다.

<source>
  @type tail
  @id in_tail_cwagent_logs
  @label @cwagentlogs
  path /var/log/containers/cloudwatch-agent*
  pos_file /var/log/cloudwatch-agent.log.pos
  tag *
  read_from_head true
 <parse>
    @type json
    time_format %Y-%m-%dT%H:%M:%S.%NZ
 </parse>
</source> 

<label @cwagentlogs>
  <filter **>
    @type kubernetes_metadata
    @id filter_kube_metadata_cwagent
  </filter>

  <filter **>
    @type record_transformer
    @id filter_cwagent_stream_transformer
    <record>
      stream_name ${tag_parts[3]}
    </record>
 </filter>

  <filter **>
    @type concat
    key log
    multiline_start_regexp /^\d{4}[-/]\d{1,2}[-/]\d{1,2}/
    separator ""
    flush_interval 5
    timeout_label @NORMAL
 </filter>

 <match **>
    @type relabel
    @label @NORMAL
 </match>
</label>

(선택 사항) Fluentd의 로그 볼륨 축소

기본적으로 CloudWatch에 Fluentd 애플리케이션 로그와 Kubernetes 메타데이터가 전송됩니다. CloudWatch에 전송되는 데이터의 볼륨을 줄이려면 이러한 데이터 원본 중 하나 또는 둘 모두가 CloudWatch에 전송되지 못하게 막으면 됩니다.

Fluentd 애플리케이션 로그를 중단하려면 fluentd.yaml 파일에서 다음 섹션을 제거하세요.

<source>
  @type tail
  @id in_tail_fluentd_logs
  @label @fluentdlogs
  path /var/log/containers/fluentd*
  pos_file /var/log/fluentd.log.pos
  tag *
  read_from_head true
   <parse>
   @type json
   time_format %Y-%m-%dT%H:%M:%S.%NZ
  </parse>
</source>  

<label @fluentdlogs>
  <filter **>
    @type kubernetes_metadata
    @id filter_kube_metadata_fluentd
  </filter>

  <filter **>
    @type record_transformer
    @id filter_fluentd_stream_transformer
    <record>
      stream_name ${tag_parts[3]}
    </record>
   </filter>

   <match **>
     @type relabel
     @label @NORMAL
   </match>
</label>

Kubernetes 메타데이터를 제거하여 CloudWatch로 전송되는 로그 이벤트에 추가되지 못하게 하려면 fluentd.yaml 파일의 record_transformer 섹션에 한 줄을 추가합니다. 이 메타데이터를 제거하려는 로그 소스에서 다음 줄을 추가합니다.

remove_keys $.kubernetes.pod_id, $.kubernetes.master_url, $.kubernetes.container_image_id, $.kubernetes.namespace_id

예:

<filter **>
  @type record_transformer
  @id filter_containers_stream_transformer
  <record>
    stream_name ${tag_parts[3]}
  </record>
  remove_keys $.kubernetes.pod_id, $.kubernetes.master_url, $.kubernetes.container_image_id, $.kubernetes.namespace_id
</filter>

문제 해결

이러한 로그 그룹을 확인하지 않고 올바른 리전을 살펴보고 있는 경우, 오류를 찾으려면 Fluentd DaemonSet Pod에 대한 로그를 확인합니다.

다음 명령을 실행하여 상태가 Running인지 확인합니다.

kubectl get pods -n amazon-cloudwatch

이전 명령의 결과에서 fluentd-cloudwatch로 시작하는 Pod 이름을 적어둡니다. 다음 명령에서 이 Pod 이름을 사용합니다.

kubectl logs pod_name -n amazon-cloudwatch

로그에 IAM 권한과 관련된 오류가 있다면 클러스터 노드에 연결된 IAM 역할을 확인합니다. Amazon EKS 클러스터를 실행하는 데 필요한 권한에 대한 자세한 내용은 Amazon EKS 사용 설명서의 Amazon EKS IAM 정책, 역할 및 권한 단원을 참조하세요.

Pod 상태가 CreateContainerConfigError이면 다음 명령을 실행하여 정확한 오류를 가져옵니다.

kubectl describe pod pod_name -n amazon-cloudwatch

포드 상태가 CrashLoopBackOff인 경우 Fluentd 컨테이너 이미지의 아키텍처가 Fluentd를 설치한 시점의 노드와 동일한지 확인합니다. 클러스터에 x86 및 ARM64 노드가 모두 있는 경우 kubernetes.io/arch 레이블을 사용하여 이미지를 올바른 노드에 배치할 수 있습니다. 자세한 내용은 kuberntes.io/arch를 참조하세요.