Amazon MSK 로깅 - Amazon Managed Streaming for Apache Kafka

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon MSK 로깅

Amazon Logs, Amazon S3, Amazon Data Firehose 중 하나 이상의 대상 유형에 Apache Kafka 브로커 CloudWatch 로그를 전달할 수 있습니다. 를 사용하여 Amazon MSK API 호출을 로깅할 수도 있습니다 AWS CloudTrail.

참고

Express 브로커에서는 브로커 로그를 사용할 수 없습니다.

브로커 로그

브로커 로그를 사용하면 Apache Kafka 애플리케이션의 문제를 해결하고 MSK 클러스터와의 통신을 분석할 수 있습니다. 로그 CloudWatch 그룹, S3 버킷, Firehose 전송 스트림 중 하나 이상의 대상 리소스에 INFO수준 브로커 로그를 전송하도록 새 클러스터 또는 기존 MSK 클러스터를 구성할 수 있습니다. 그런 다음 Firehose를 통해 전송 스트림에서 OpenSearch 서비스로 로그 데이터를 전송할 수 있습니다. 클러스터에 브로커 로그를 전달하도록 클러스터를 구성하기 전에 대상 리소스를 생성해야 합니다. AmazonMSK은 이러한 대상 리소스가 아직 존재하지 않는 경우 해당 리소스를 생성하지 않습니다. 이러한 세 가지 유형의 대상 리소스와 이를 생성하는 방법에 대한 자세한 내용은 다음 설명서를 참조하십시오.

필수 권한

Amazon MSK브로커 로그의 대상을 구성하려면 Amazon MSK 작업에 사용하는 IAM 자격 증명에 AWS 관리형 정책: mazonMSKFull액세스 정책에 설명된 권한이 있어야 합니다.

브로커 로그를 S3 버킷으로 스트리밍하려면 s3:PutBucketPolicy 권한도 필요합니다. S3 버킷 정책에 대한 자세한 내용은 Amazon S3 사용 설명서에서 S3 버킷 정책을 추가하려면 어떻게 해야 하나요?를 참조하세요. 일반적인 IAM 정책에 대한 자세한 내용은 IAM 사용 설명서의 액세스 관리를 참조하세요.

와 함께 사용하는 데 필요한 KMS 키 정책 SSE-KMS 버킷

고객 관리형 키와 함께 관리형 키( AWS KMS-SSEKMS)를 사용하여 S3 버킷에 대한 서버 측 암호화를 활성화한 경우 Amazon이 버킷에 브로커 파일을 쓸 MSK 수 있도록 키의 KMS 키 정책에 다음을 추가합니다.

{ "Sid": "Allow Amazon MSK to use the key.", "Effect": "Allow", "Principal": { "Service": [ "delivery.logs.amazonaws.com" ] }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*" }

를 사용하여 브로커 로그 구성 AWS Management Console

새 클러스터를 생성하는 경우 모니터링 섹션에서 브로커 로그 전달 제목을 찾습니다. Amazon이 브로커 로그를 전송할 대상MSK을 지정할 수 있습니다.

기존 클러스터의 경우 클러스터 목록에서 클러스터를 선택한 다음 속성 탭을 선택합니다. 모니터링 섹션까지 아래로 스크롤한 다음 편집 버튼을 선택합니다. Amazon이 브로커 로그를 전송할 대상MSK을 지정할 수 있습니다.

를 사용하여 브로커 로그 구성 AWS CLI

create-cluster 또는 update-monitoring 명령을 사용할 때 선택적으로 logging-info 파라미터를 지정하고 다음 예제와 같은 JSON 구조를 전달할 수 있습니다. 이 에서는 세 가지 대상 유형 JSON모두 선택 사항입니다.

{ "BrokerLogs": { "S3": { "Bucket": "ExampleBucketName", "Prefix": "ExamplePrefix", "Enabled": true }, "Firehose": { "DeliveryStream": "ExampleDeliveryStreamName", "Enabled": true }, "CloudWatchLogs": { "Enabled": true, "LogGroup": "ExampleLogGroupName" } } }

API을 사용하여 브로커 로그 구성

CreateCluster 또는 UpdateMonitoring 작업에 JSON 전달하는에서 선택적 loggingInfo 구조를 지정할 수 있습니다.

참고

기본적으로 브로커 로깅이 활성화되면 Amazon은 지정된 대상에 INFO 수준 로그를 MSK 기록합니다. 그러나 Apache Kafka 2.4.X 이상 사용자는 브로커 로그 수준을 log4j log 수준 중 어느 것으로든 동적으로 설정할 수 있습니다. 브로커 로그 수준을 동적으로 설정하는 방법에 대한 자세한 내용은 KIP-412: 동적 애플리케이션 로그 수준을 지원API하도록 관리자 확장을 참조하세요. 로그 수준을 DEBUG 또는 TRACE로 동적으로 설정하는 경우 Amazon S3 또는 Firehose를 로그 대상으로 사용하는 것이 좋습니다. CloudWatch 로그를 로그 대상으로 사용하고 로깅을 동적으로 활성화DEBUG하거나 TRACE 레벨링하는 경우 Amazon은 로그 샘플을 지속적으로 제공할 MSK 수 있습니다. 이는 브로커 성능에 상당한 영향을 미칠 수 있으므로 INFO 로그 수준이 문제의 근본 원인을 파악하기에 충분히 상세하지 않은 경우에만 사용해야 합니다.