아마존 MSK 쿼터 - Amazon Managed Streaming for Apache Kafka
아마존 MSK 쿼터MSK복제기 할당량서버리스 클러스터에 대한 할당량MSKConnect 할당량

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

아마존 MSK 쿼터

AWS 계정에는 Amazon의 기본 할당량이 있습니다. MSK 달리 명시되지 않는 한, 각 계정별 할당량은 계정 내 지역별로 다릅니다. AWS

아마존 MSK 쿼터

  • 계정당 최대 90개 브로커. 모드 클러스터당 브로커 30개, ZooKeeper 모드 클러스터당 KRaft 브로커 60개 더 높은 할당량을 요청하려면 Service Quotas 콘솔로 이동하세요.

  • 브로커당 최소 1GiB 스토리지.

  • 브로커당 최대 16384GiB 스토리지.

  • 를 사용하는 클러스터는 언제든지 브로커당 최대 3000개의 TCP 연결을 가질 IAM 액세스 제어 수 있습니다. 이 제한을 늘리려면 Kafka listener.name.client_iam.max.connections 또는 도구를 사용하여 AlterConfig API 또는 listener.name.client_iam_public.max.connections 구성 속성을 조정할 수 있습니다. kafka-configs.sh 두 속성 중 하나를 높은 값으로 높이면 사용할 수 없게 될 수 있다는 점에 유의하세요.

  • 연결 제한. TCP 연결 속도 버스트를 활성화하면 초당 100개의 연결이 MSK 허용됩니다. 단, kafka.t3.small 인스턴스 유형은 예외입니다. 이 인스턴스 유형에서는 연결 속도 폭발이 활성화된 상태에서 초당 4개의 연결이 허용됩니다. 연결 속도 급증이 활성화되지 않은 이전 클러스터는 클러스터에 패치가 적용되면 이 기능이 자동으로 활성화됩니다.

    실패한 연결에 대한 재시도를 처리하려면 클라이언트 측에서 reconnect.backoff.ms 구성 파라미터를 설정하면 됩니다. 예를 들어 클라이언트가 1초 후에 연결을 다시 시도하도록 하려면 reconnect.backoff.ms를 1000으로 설정합니다. 자세한 내용은 Apache Kafka 설명서의 reconnect.backoff.ms를 참조하세요.

  • 계정당 최대 100개의 구성. Service Quotas를 통해 한도 증가를 요청하려면 Service Quotas 콘솔로 이동하세요.

  • 구성당 최대 50회의 개정.

  • MSK클러스터의 구성 또는 Apache Kafka 버전을 업데이트하려면 먼저 브로커당 파티션 수가 에 설명된 한도 미만인지 확인하십시오. 클러스터 크기를 적절하게 조정: 브로커당 파티션 수

MSK복제기 할당량

  • 계정당 최대 15개의 리플리케이터MSK.

  • MSK리플리케이터는 정렬된 순서로 최대 750개의 주제만 복제합니다. 더 많은 주제를 복제해야 하는 경우 별도의 복제기를 만드는 것이 좋습니다. 복제기당 750개 이상의 주제에 대한 지원이 필요한 경우 Service Quotas 콘솔로 이동하십시오. “" 지표를 사용하여 복제 중인 주제 수를 모니터링할 수 있습니다. TopicCount

  • 복제기당 최대 인그레스 처리량은 초당 1GB입니다. MSK Service Quotas 콘솔을 통해 더 높은 할당량을 요청하세요.

  • MSK복제기 레코드 크기 - 최대 10MB의 레코드 크기 (메시지.max.bytes). Service Quotas 콘솔을 통해 더 높은 할당량을 요청하세요.

MSK서버리스 할당량

참고

서비스 할당량 한도에 문제가 있는 경우 사용 사례와 요청된 한도를 포함하는 지원 사례를 생성하세요.

별도의 언급이 없는 한 클러스터당 제한이 적용됩니다.
측정기준 할당량 할당량 위반 결과

최대 수신 처리량

200 MBps

위반에 따른 제한 지속 시간으로 인한 속도 저하
최대 송신 처리량 400 MBps

위반에 따른 제한 지속 시간으로 인한 속도 저하
최대 보존 기간 무제한 N/A

최대 클라이언트 연결 횟수

 3000 연결 종료
최대 연결 시도 횟수 100회/초 연결 종료

최대 메시지 크기

 8MB 요청 실패 ErrorCode: INVALID_ REQUEST
최대 요청 빈도 15,000회/초 위반에 따른 제한 지속 시간으로 인한 속도 저하

최대 주제 관리 APIs 요청 비율

 2회/초 위반에 따른 제한 지속 시간으로 인한 속도 저하

요청당 최대 가져오기 바이트

55MB

 요청 실패 ErrorCode: INVALID_ REQUEST

최대 사용자 그룹 수

 500 JoinGroup 요청 실패
최대 파티션 수 (리더) 압축되지 않은 주제의 경우 2400. 압축된 주제의 경우 120. 서비스 할당량 조정을 요청하려면 사용 사례와 요청된 한도가 포함된 지원 사례를 생성하세요. 요청이 ErrorCode 다음과 같이 실패합니다. INVALID_ REQUEST
최대 파티션 생성 및 삭제 속도 5분에 250회 요청 실패 ErrorCode: THROUGHPUT _ QUOTA _ EXCEEDED

파티션당 최대 수신 처리량

 5 MBps 위반에 따른 제한 지속 시간으로 인한 속도 저하

파티션당 최대 송신 처리량

 10 MBps 위반에 따른 제한 지속 시간으로 인한 속도 저하

최대 파티션 크기(압축된 주제의 경우)

 250GB 요청 실패 ErrorCode: THROUGHPUT _ QUOTA _ EXCEEDED
서버리스 VPCs 클러스터당 최대 클라이언트 수 5
계정당 최대 서버리스 클러스터 수 10. 서비스 할당량 조정을 요청하려면 사용 사례와 요청된 한도가 포함된 지원 사례를 생성하세요.

MSKConnect 할당량

  • 최대 100개의 사용자 지정 플러그인.

  • 최대 100개의 작업자 구성.

  • 최대 60개의 연결 작업자. 용량이 자동 조정되도록 커넥터를 설정한 경우 커넥터가 갖도록 설정된 최대 작업자 수는 MSK Connect가 계정의 할당량을 계산하는 데 사용하는 수입니다.

  • 커넥터당 최대 10개의 작업자.

MSKConnect에 대해 더 높은 할당량을 요청하려면 Service Quotas 콘솔로 이동하세요.