MSK Replicator 사용 모범 사례
이 섹션에서는 Amazon MSK Replicator 사용에 대한 일반적인 모범 사례와 구현 전략을 다룹니다.
Kafka 할당량을 사용하여 MSK Replicator 처리량 관리
MSK Replicator는 소스 클러스터의 소비자 역할을 하므로 복제로 인해 소스 클러스터에서 다른 소비자가 제한될 수 있습니다. 제한의 양은 원본 클러스터의 읽기 용량과 복제 중인 데이터의 처리량에 따라 달라집니다. 소스 클러스터와 대상 클러스터에 동일한 용량을 프로비저닝하고 필요한 용량을 계산할 때 복제 처리량을 고려하는 것이 좋습니다.
또한 소스 및 대상 클러스터에서 복제기에 대한 Kafka 할당량을 설정하여 MSK Replicator가 사용할 수 있는 용량을 제어할 수 있습니다. 네트워크 대역폭 할당량을 사용하는 것을 권장합니다. 네트워크 대역폭 할당량은 할당량을 공유하는 하나 이상의 클라이언트에 대해 초당 바이트로 정의되는 바이트 속도 임계값을 정의합니다. 이 할당량은 브로커별로 정의됩니다.
할당량을 적용하려면 다음 단계를 수행합니다.
소스 클러스터의 부트스트랩 서버 문자열을 검색합니다. Amazon MSK 클러스터를 위한 부트스트랩 브로커 가져오기 섹션을 참조하세요.
MSK Replicator에서 사용하는 서비스 실행 역할(SER)을 검색합니다.
CreateReplicator요청에 사용한 SER입니다. 기존 복제기의 DescribeReplicator 응답에서 SER을 가져올 수도 있습니다.Kafka CLI 도구를 사용하여 소스 클러스터에 대해 다음 명령을 실행합니다.
./kafka-configs.sh --bootstrap-server <source-cluster-bootstrap-server> --alter --add-config 'consumer_byte_ rate=<quota_in_bytes_per_second>' --entity-type users --entity-name arn:aws:sts::<customer-account-id>:assumed-role/<ser-role-name>/<customer-account-id> --command-config <client-properties-for-iam-auth></programlisting>위 명령을 실행한 후
ReplicatorThroughput지표가 설정한 할당량을 초과하지 않는지 확인합니다.
여러 MSK Replicator 간에 서비스 실행 역할을 다시 사용하는 경우 모두 이 할당량이 적용된다는 점에 유의하세요. 복제기별로 별도의 할당량을 유지하려면 별도의 서비스 실행 역할을 사용하세요.
할당량과 함께 MSK IAM 인증을 사용하는 방법에 대한 자세한 내용은 IAM 액세스 제어 및 Kafka 할당량이 있는 Amazon MSK의 멀티 테넌시 Apache Kafka 클러스터 - 1부
주의
Consumer_byte_rate를 매우 낮게 설정하면 MSK Replicator가 예상치 못한 방식으로 작동할 수 있습니다.
클러스터 보존 기간 설정
MSK 프로비저닝 및 서버리스 클러스터에 대한 로그 보존 기간을 설정할 수 있습니다. 권장 보존 기간은 7일입니다. 클러스터 구성 변경 사항 또는 지원되는 MSK Serverless 클러스터 구성을 참조하세요.
