CloudWatch 솔루션: Amazon EC2의 Kafka 워크로드

이 솔루션을 사용하면 EC2 인스턴스에서 실행되는 Apache Kafka 워크로드(브로커, 생산자, 소비자)용 CloudWatch 에이전트를 사용하여 즉시 사용 가능한 메트릭 컬렉션을 구성할 수 있습니다. 또한, 미리 구성된 CloudWatch 대시보드를 설정하는 데 도움이 됩니다. CloudWatch 관찰성 솔루션에서 모든 CloudWatch 관찰성 솔루션에 대한 일반 정보를 참조하세요.

요구 사항

이 솔루션 관련 조건은 다음과 같습니다.

이점

이 솔루션은 Kafka 서버 모니터링을 제공함으로써 다음 사용 사례에 관한 유용한 인사이트를 제공합니다.

솔루션의 가장 중요한 장점으로는 다음과 같은 것들이 있습니다.

다음 이미지는 해당 솔루션의 대시보드 예시입니다.

비용

이 솔루션은 사용자 계정에 리소스를 생성하여 사용합니다. 표준 사용에 대한 요금이 부과되며, 다음 항목들이 포함됩니다.

CloudWatch 요금에 대한 자세한 내용은 Amazon CloudWatch 요금을 참조하세요.

요금 계산기는 이 솔루션 사용에 대한 대략적인 월별 비용을 추정하는 데 도움이 될 수 있습니다.

이 솔루션에 대한 CloudWatch 에이전트 구성

CloudWatch 에이전트는 서버와 컨테이너화된 환경에서 지속적이고 자율적으로 실행되는 소프트웨어입니다. 인프라와 애플리케이션에서 메트릭, 로그, 트레이스를 수집하여 CloudWatch와 X-Ray로 전송합니다.

CloudWatch에 대한 자세한 내용은 CloudWatch 에이전트를 사용하여 지표, 로그, 추적 수집을(를) 참조하세요.

이 솔루션의 에이전트 구성에서는 Kafka, JVM, EC2의 기본 메트릭을 수집합니다. CloudWatch 에이전트는 대시보드가 기본적으로 표시하는 것보다 더 많은 Kafka 및 JVM 메트릭을 수집하도록 구성할 수 있습니다. EC2 메트릭 목록은 Linux 및 macOS 인스턴스의 CloudWatch 에이전트가 수집하는 지표을(를) 참조하세요.

Kafka 브로커, 생산자, 소비자 역할 관련 JMX 포트 노출

CloudWatch 에이전트는 JMX를 사용하여 Kafka 브로커, 생산자, 소비자와 관련된 메트릭을 수집합니다. 이 작업을 수행하려면 서버와 애플리케이션의 JMX 포트를 노출해야 합니다.

Kafka 브로커의 경우, JMX_PORT 환경 변수를 사용하여 포트를 설정해야 합니다. 이 환경 변수를 설정한 후 브로커를 다시 시작해야 합니다. 애플리케이션의 시작 스크립트 및 구성 파일을 검토하여 이러한 인수를 추가할 수 있는 가장 좋은 위치를 찾습니다.

예를 들어, Linux 시스템과 macOS 시스템에서는 다음 명령을 사용하여 JMX 포트를 설정할 수 있습니다. 반드시 사용하지 않는 포트 번호를 지정해야 합니다.

export JMX_PORT=port-number

Kafka 생산자 및 소비자의 경우 JMX 포트 노출 지침은 생산자 또는 소비자 JVM 애플리케이션에 사용 중인 워크로드 유형에 따라 다릅니다. 이 지침을 찾으려면 애플리케이션 설명서를 참조하세요.

일반적으로 모니터링 및 관리용 JMX 포트를 활성화하려면 JVM 애플리케이션에 시스템 속성을 다음과 같이 설정합니다. 다음 예제에서는 인증되지 않은 JMX를 설정합니다. 보안 정책/요건에 따라 암호 인증으로 JMX를 활성화하거나 원격 액세스용 SSL을 활성화해야 하는 경우 JMX 설명서를 참조하여 필요한 속성을 설정합니다.

-Dcom.sun.management.jmxremote
-Dcom.sun.management.jmxremote.port=port-number
-Dcom.sun.management.jmxremote.authenticate=false 
-Dcom.sun.management.jmxremote.ssl=false

JMX 포트를 확인하려면 ps aux | grep jmxremote.port을(를) 실행합니다. 실행 결과를 통해 JMX 포트가 JVM 프로세스에 설정되었다고 표시되어야 합니다.

이 솔루션의 에이전트 구성

에이전트가 수집한 메트릭은 에이전트 구성에 정의되어 있습니다. 이 솔루션은 솔루션 대시보드에 적합한 차원에 권장 메트릭을 수집하는 에이전트 구성을 제공합니다. 브로커, 생산자, 소비자와 같은 Kafka 역할 각각에는 Kafka 메트릭과 기본 JVM 메트릭 및 EC2 메트릭을 수집할 수 있는 자체 에이전트 구성이 있습니다.

솔루션 배포 단계는 뒷부분의 솔루션 에이전트 배포에 설명되어 있습니다. 다음 정보는 환경에 맞게 에이전트 구성을 사용자 지정하는 방법을 이해하는 데 도움이 됩니다.

환경에 맞게 다음 에이전트 구성의 일부를 사용자 지정해야 합니다.

예를 들어, 동일한 계정에 Kafka 클러스터를 두 개 실행 중인 경우, 하나는 order-processing 애플리케이션용이고 다른 하나는 inventory-management 애플리케이션용이며, 브로커 인스턴스의 에이전트 구성에서 이에 따라 ClusterName 차원과 ProcessGroupName 차원을 설정해야 합니다.

위의 차원을 올바르게 설정하면 솔루션 대시보드는, ClusterName, ProducerGroupName, ConsumerGroupName 차원을 기반으로 자동으로 메트릭을 그룹화합니다. 대시보드에는 특정 클러스터와 그룹의 메트릭을 선택하고 볼 수 있는 드롭다운 옵션이 포함되어 있으므로 개별 클러스터와 그룹의 성능을 각각 모니터링할 수 있습니다.

관련 에이전트 구성을 올바른 EC2 인스턴스에 배포해야 합니다. 각각의 구성은 뒷부분의 2단계: Systems Manager Parameter Store에 권장 에이전트 구성 파일을 저장에 설명된 대로 SSM의 Parameter Store에 개별 파라미터로 저장됩니다.

다음 지침은 생산자, 소비자, 브로커 역할이 중복 없이 별도의 EC2 인스턴스에 배포되는 상황을 설명합니다. 동일한 EC2 인스턴스에서 다양한 Kafka 역할을 실행하는 경우, 동일한 인스턴스에서 다양한 Kafka 역할에 대한 에이전트 구성에서 자세한 내용을 참조하세요.

Kafka 브로커 에이전트의 에이전트 구성

Kafka 브로커 에이전트가 배포된 EC2 인스턴스에 다음 CloudWatch 에이전트 구성을 사용합니다. ClusterName을 통합 보기에 대해 해당 메트릭을 그룹화할 때 사용할 클러스터 이름으로 바꿉니다. ClusterName에 지정하는 값은 ClusterName 차원과 ProcessGroupName 차원으로 모두 사용됩니다. 포트 번호를 Kafka 서버의 JMX 포트 번호로 바꾸세요.

이 구성(JMX 블록 외부에 표시된 구성)에 표시된 EC2 메트릭은는 Linux 및 macOS 인스턴스에서만 작동합니다. Windows 인스턴스를 사용하는 경우 구성에서 이러한 메트릭을 생략하도록 선택할 수 있습니다. Windows 인스턴스에서 수집한 메트릭에 관해서는 Windows Server 인스턴스의 CloudWatch 에이전트가 수집하는 지표에서 자세한 내용을 참조하세요.

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka": {
            "measurement": [
              "kafka.request.time.avg",
              "kafka.request.failed",
              "kafka.request.count",
              "kafka.purgatory.size",
              "kafka.partition.under_replicated",
              "kafka.partition.offline",
              "kafka.network.io",
              "kafka.leader.election.rate",
              "kafka.isr.operation.count"
            ]
          },
          "append_dimensions": {
            "ClusterName": "ClusterName"
          }
        },
        {
          "endpoint": "localhost:port-number",
          "jvm": {
            "measurement": [
              "jvm.classes.loaded",
              "jvm.gc.collections.count",
              "jvm.gc.collections.elapsed",
              "jvm.memory.heap.committed",
              "jvm.memory.heap.max",
              "jvm.memory.heap.used",
              "jvm.memory.nonheap.committed",
              "jvm.memory.nonheap.max",
              "jvm.memory.nonheap.used",
              "jvm.threads.count"
            ]
          },
          "append_dimensions": {
            "ProcessGroupName": "ClusterName"
          }
        }
      ],
      "disk": {
        "measurement": [
          "used_percent"
        ]
      },
      "mem": {
        "measurement": [
          "used_percent"
        ]
      },
      "swap": {
        "measurement": [
          "used_percent"
        ]
      },
      "netstat": {
        "measurement": [
          "tcp_established",
          "tcp_time_wait"
        ]
      }
    }
  }
}

Kafka 생산자를 위한 에이전트 구성

Kafka 생산자가 배포된 Amazon EC2 인스턴스에 다음 CloudWatch 에이전트 구성을 사용합니다. ProducerGroupName을 통합 보기에 대해 메트릭을 그룹화할 때 사용할 애플리케이션 또는 그룹의 이름으로 바꿉니다. 포트 번호를 Kafka 생산자 애플리케이션의 JMX 포트로 바꿉니다.

솔루션 대시보드에는 생산자용 JVM과 관련된 JVM 메트릭이 표시되지 않으므로 이 솔루션에서는 Kafka 생산자에 대한 JVM 메트릭을 활성화하지 않습니다. 에이전트 구성을 사용자 지정하여 JVM 메트릭을 내보낼 수도 있지만 생산자와 관련된 JVM 메트릭은 솔루션 대시보드에 표시되지 않습니다.

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-producer": {
            "measurement": [
              "kafka.producer.request-rate",
              "kafka.producer.byte-rate",
              "kafka.producer.request-latency-avg",
              "kafka.producer.response-rate",
              "kafka.producer.record-error-rate",
              "kafka.producer.record-send-rate"
            ]
          },
          "append_dimensions": {
            "ProducerGroupName": "ProducerGroupName"
          }
        }
      ]
    }
  }
}

Kafka 소비자를 위한 에이전트 구성

Kafka 소비자가 실행하는 EC2 인스턴스에 다음 CloudWatch 에이전트 구성을 사용합니다. ConsumerGroupName을 통합 보기에 대해 메트릭을 그룹화할 때 사용할 애플리케이션 또는 그룹의 이름으로 바꿉니다. 포트 번호를 Kafka 소비자 애플리케이션의 JMX 포트로 바꿉니다.

솔루션 대시보드에는 소비자용 JVM과 관련된 JVM 메트릭이 표시되지 않으므로 이 솔루션에서는 Kafka 소비자에 대한 JVM 메트릭을 활성화하지 않습니다. 에이전트 구성을 사용자 지정하여 JVM 메트릭을 내보낼 수도 있지만 소비자와 관련된 JVM 메트릭은 솔루션 대시보드에 표시되지 않습니다.

{
  "metrics": {
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-consumer": {
            "measurement": [
              "kafka.consumer.fetch-rate",
              "kafka.consumer.total.bytes-consumed-rate",
              "kafka.consumer.records-consumed-rate",
              "kafka.consumer.bytes-consumed-rate",
              "kafka.consumer.records-lag-max"
            ]
          },
          "append_dimensions": {
            "ConsumerGroupName": "ConsumerGroupName"
          }
        }
      ]
    }
  }
}

솔루션 에이전트 배포

사용 사례에 따라 CloudWatch 에이전트를 설치하는 방법에는 여러 가지가 있습니다. 이 솔루션에는 Systems Manager를 사용하는 것이 좋습니다. Systems Manager는 콘솔 환경을 제공하며 단일 AWS 계정 내에 관리형 서버 플릿을 더 쉽게 관리할 수 있습니다. 이 섹션의 내용은 Systems Manager를 사용하며, 기존 구성으로 CloudWatch 에이전트를 실행하지 않는 경우에 적용할 수 있습니다. CloudWatch 에이전트가 실행 중인지 확인에 나열된 단계에 따라 CloudWatch 에이전트가 실행 중인지 확인할 수 있습니다.

워크로드가 배포된 EC2 호스트에서 이미 CloudWatch 에이전트를 실행 중이며 에이전트 구성을 관리 중이라면 이 섹션의 내용을 건너뛰어 기존 배포 메커니즘에 따라 구성을 업데이트할 수 있습니다. 브로커, 생산자, 소비자와 같은 역할에 따라 에이전트 구성을 기존 에이전트 구성과 병합한 다음에 병합된 구성을 배포해야 합니다. Systems Manager를 사용하여 CloudWatch 에이전트의 구성을 저장하고 관리하는 경우, 해당 구성을 기존 파라미터 값에 병합할 수 있습니다. 자세한 내용은 CloudWatch 에이전트 구성 파일 관리를 참조하세요.

이 배포 프로세스는 다음 단계를 통해 이루어집니다.

브로커, 생산자, 소비자가 동일한 EC2 인스턴스에 배포되었는지 다른 인스턴스에 배포되었는지에 따라 이러한 단계를 반복해야 합니다. 예를 들어, Kafka 브로커, 생산자, 소비자가 중복 없이 별도의 인스턴스에 배포되는 경우, 브로커, 생산자, 소비자 EC2 인스턴스에 대한 적절한 에이전트 구성을 사용하여 이 단계를 세 번 반복해야 합니다.

1단계: 대상 EC2 인스턴스에 필요한 IAM 권한이 있는지 확인

Systems Manager가 CloudWatch 에이전트를 설치하고 구성할 수 있도록 권한을 부여해야 합니다. 또한, CloudWatch 에이전트가 EC2 인스턴스에서 CloudWatch로 원격 측정을 게시할 수 있는 권한을 부여해야 합니다. 인스턴스에 연결된 IAM 역할에 CloudWatchAgentServerPolicy와 AmazonSSMManagedInstanceCore IAM 정책이 연결되어 있는지 확인합니다.

2단계: Systems Manager Parameter Store에 권장 에이전트 구성 파일을 저장

Parameter Store는 구성 파라미터를 안전하게 저장하고 관리하여 EC2 인스턴스에 CloudWatch 에이전트 설치하는 작업을 간소화하므로 하드 코딩 값이 필요 없습니다. 이를 통해 보다 안전하고 유연한 배포 프로세스를 보장하며 중앙 집중식 관리를 가능하게 하는 동시에 다양한 인스턴스에서 구성을 더 쉽게 업데이트할 수 있습니다.

다음 단계에 따라 권장 CloudWatch 에이전트 구성 파일을 Parameter Store에 파라미터로 저장합니다.

3단계: CloudWatch 에이전트를 설치하고 AWS CloudFormation 템플릿을 사용하여 구성을 적용

AWS CloudFormation을(를) 사용하여 에이전트를 설치하고 이를 이전 단계에서 생성한 CloudWatch 에이전트 구성을 사용하도록 구성할 수 있습니다.

템플릿 파일을 먼저 편집하여 사용자 지정하려면 스택 생성 마법사에서 템플릿 파일 업로드 옵션을 선택하여 편집된 템플릿을 업로드합니다. 자세한 내용은 AWS CloudFormation 콘솔에서 스택 생성 단원을 참조하세요. https://aws-observability-solutions.s3.amazonaws.com/CloudWatchAgent/CFN/v1.0.0/cw-agent-installation-template-1.0.0.json 링크를 사용하여 템플릿을 다운로드할 수 있습니다.

4단계: 에이전트 설정이 올바르게 구성되었는지 확인

CloudWatch 에이전트가 실행 중인지 확인에 나열된 단계에 따라 CloudWatch 에이전트가 설치되었는지 확인할 수 있습니다. CloudWatch 에이전트가 설치되어 실행되지 않는 경우 모든 항목을 올바르게 설정했는지 확인합니다.

모든 것이 올바르게 설정된 경우 CloudWatch에 게시되는 Kafka 메트릭이 표시됩니다. CloudWatch 콘솔을 확인하여 게시되고 있는지 확인할 수 있습니다.

Kafka 솔루션 대시보드 생성

이 대시보드는 Kafka와 기본 JVM에 공통적으로 새로 생성된 메트릭을 표시합니다. 이 대시보드는 생산자, 브로커, 소비자 전반에 걸쳐 Kafka 워크로드의 상태에 대한 상위 기여자 보기를 제공합니다. 상위 기여자 보기에는 메트릭당 상위 10개의 위젯이 표시됩니다. 이를 통해 이상치를 한눈에 식별할 수 있습니다.

솔루션 대시보드에는 EC2 메트릭이 표시되지 않습니다. EC2 메트릭을 보려면 EC2 자동 대시보드를 사용하여 EC2 벤딩 메트릭을 확인하고 EC2 콘솔 대시보드를 사용하여 CloudWatch 에이전트에서 수집한 EC2 메트릭을 확인해야 합니다. AWS 서비스의 자동 대시보드에 대한 자세한 내용은 단일 AWS 서비스에 대한 CloudWatch 대시보드 보기을(를) 참조하세요.

대시보드를 생성하기 위해 사용할 수 있는 옵션은 다음과 같습니다.

CloudWatch 콘솔을 사용하여 대시보드를 생성하면 실제 생성 및 청구 전에 대시보드를 미리 볼 수 있습니다.

템플릿 파일을 편집하여 범용으로 사용자 지정하려면 스택 생성 마법사의 템플릿 파일 업로드 옵션을 사용하여 편집된 템플릿을 업로드하면 됩니다. 자세한 내용은 AWS CloudFormation 콘솔에서 스택 생성 단원을 참조하세요. https://aws-observability-solutions.s3.amazonaws.com/Kafka_EC2/CloudWatch/CFN/v1.0.0/dashboard-template-1.0.0.json 링크를 사용하여 템플릿을 다운로드할 수 있습니다.

Kafka 대시보드 시작하기

새 Kafka 대시보드로 시도해 볼 수 있는 작업들 가운데는 다음과 같은 것이 있습니다. 이들 작업을 통해 대시보드가 올바르게 작동하는지 확인하고 이를 사용하여 Kafka 클러스터 모니터링과 관련된 몇 가지 실습 경험을 제공할 수 있습니다. 이들 작업을 직접 실행해 보면 대시보드 탐색 및 시각화된 메트릭 해석에 익숙해질 수 있습니다.

드롭다운 목록 사용

대시보드는 모니터링할 특정 Kafka 클러스터, 생산자 그룹, 소비자 그룹을 필터링하고 선택하는 데 사용할 수 있는 드롭다운 목록을 상단에 제공합니다.

클러스터 상태 확인

클러스터 개요 섹션에서 복제된 파티션 위젯과 동기화된 복제 위젯을 찾습니다. 0이거나 값이 작은 것이 이상적입니다. 이들 메트릭 중 값이 큰 것이 있다면 조사가 필요한 Kafka 클러스터 문제가 있다는 의미일 수 있습니다.

브로커 성능 조사

브로커 섹션에서 실패한 가져오기 요청 위젯과 실패한 생산자 요청 위젯을 찾습니다. 이들 위젯에는 각각 가져오기 작업과 생성 작업에 실패한 요청 수가 표시됩니다. 실패율이 높다면 추가 조사가 필요한 브로커 또는 네트워크 연결 문제가 있다는 의미일 수 있습니다.

생산자 성능 모니터링

생산자 그룹 개요 섹션에서 평균 요청 속도 위젯, 평균 요청 지연 시간 위젯, 평균 레코드 전송/오류 속도 위젯을 찾습니다. 이들 위젯에서는 선택한 그룹의 생산자의 작업 수행 정도에 대한 개요를 볼 수 있습니다. 또한 드릴다운하여 생산자 섹션에서 특정 생산자 및 주제에 대한 메트릭을 볼 수 있습니다.

소비자 지연 모니터링

소비자 그룹 개요 섹션에서 소비자 지연 위젯을 찾습니다. 이 위젯에서는 소비자가 구독하는 파티션의 최신 오프셋에서 메시지를 처리하는 데 얼마나 오래 걸리고 있는지 보여줍니다. 소비자 지연은 0이거나 낮은 값일 때 이상적입니다. 소비자 지연 값이 높다는 것은 소비자가 데이터 생산 속도를 따라잡을 수 없어 데이터 손실 또는 처리 지연이 발생할 수 있다는 의미일 수 있습니다. 또한 드릴다운하여 소비자 섹션에서 특정 소비자 및 주제에 대한 메트릭을 볼 수 있습니다.

동일한 인스턴스에서 다양한 Kafka 역할에 대한 에이전트 구성

이 솔루션에 대한 CloudWatch 에이전트 구성에 나열된 개별 Kafka 역할에 대한 구성은 생산자, 소비자, 브로커 역할이 중복 없이 별도의 EC2 인스턴스에 배포되는 경우에만 적용됩니다. 동일한 Amazon EC2 인스턴스에서 다양한 Kafka 역할을 실행하는 경우 사용할 수 있는 옵션에는 두 가지가 있습니다.

다음 예제에서는 생산자 역할과 소비자 역할이 동일한 JVM 프로세스에 포함되어 하나의 인스턴스에서 실행되는 CloudWatch 에이전트 구성을 보여줍니다. 이 경우, 포트 번호는 아래 구성의 생산자 부분과 소비자 부분에서 모두 동일해야 합니다. 이와 달리 두 역할이 서로 다른 JVM 프로세스에 포함되어 실행 중이었다면 개별 JVM 프로세스 각각의 JMX 포트에 따라 각각의 역할에 서로 다른 포트 번호를 지정할 수 있습니다.

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-producer": {
            "measurement": [
              "kafka.producer.request-rate",
              "kafka.producer.byte-rate",
              "kafka.producer.request-latency-avg",
              "kafka.producer.response-rate",
              "kafka.producer.record-error-rate",
              "kafka.producer.record-send-rate"
            ]
          },
          "append_dimensions": {
            "ProducerGroupName": "ProducerGroupName"
          }
        },
        {
          "endpoint": "localhost:port-number",
          "kafka-consumer": {
            "measurement": [
              "kafka.consumer.fetch-rate",
              "kafka.consumer.total.bytes-consumed-rate",
              "kafka.consumer.records-consumed-rate",
              "kafka.consumer.bytes-consumed-rate",
              "kafka.consumer.records-lag-max"
            ]
          },
          "append_dimensions": {
            "ConsumerGroupName": "ConsumerGroupName"
          }
        }
      ]
    }
  }
}