View a markdown version of this page

managing-amazon-msk 스킬을 사용하여 모범 사례 분석 - Amazon Managed Streaming for Apache Kafka

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

managing-amazon-msk 스킬을 사용하여 모범 사례 분석

managing-amazon-msk 스킬은 GitHub의 Agent AWS Toolkit에서 제공하는 에이전트 스킬 웹 사이트의 오픈 소스 에이전트 스킬로, Amazon MSK 프로비저닝 클러스터 운영에 대한 도메인 전문 지식을 제공합니다. MCP 호환 AI 코딩 에이전트(예: Kiro, Claude Code, 등)에 스킬을 설치하면 AI 에이전트가 모범 사례를 기준으로 클러스터와 클라이언트를 평가하고, 운영 문제를 진단하고, Standard 및 Express Cursor브로커와 Kafka 클라이언트에 대한 권장 구성을 구현하는 데 도움이 됩니다. 이 기술은 범용 AI 모델이 자주 잘못 적용되거나 생략되는 MSK 관련 운영 지식을 인코딩합니다.

기능

스킬은 다음 영역을 다루며, 각 영역은이 가이드에 설명된 모범 사례에 매핑됩니다.

모범 사례 영역 스킬이 도움이 되는 작업
1 Standard 브로커 모범 사례 (표준) 브로커당 파티션 수 평가, 인스턴스 크기 권장, num.network.threads m5.4xl+ num.io.threads 및 m7g.4xl+ 인스턴스에 대한 평가 및 튜닝
2 Express 브로커 모범 사례 (Express) 브로커당 처리량 한도를 기준으로 필요한 브로커 수를 계산하고, 대상 수신/송신에 Express 인스턴스 유형을 권장하고, Express 할당량을 기준으로 파티션 수를 평가합니다.
3 CPU 사용량 모니터링 브로커 리소스 포화를 진단하고, 브로커 측 및 클라이언트 측 근본 원인과 잘못된 구성을 구분하고, 조정이 필요한 시기를 결정합니다.
4 디스크 공간 모니터링 표준 브로커의 스토리지 사용량을 평가하고, 고성장 주제를 식별하고, EBS 확장 또는 보존 조정을 권장합니다. Express의 경우 스토리지 사용률(스토리지는 완전 관리형)을 모니터링하여 비용 최적화
5 Amazon MSK 프로비저닝된 클러스터에 연결 생산자/소비자 설정 감사, 인증 구성, 고가용성 및 내결함성에 맞게 조정
6 고가용성 클러스터 빌드 표준 브로커 및 클라이언트 장애 조치 구성에 대한 고가용성 구성 및 다중 AZ 배포 확인
7 Amazon MSK 프로비저닝된 클러스터 모니터링 Amazon MSK 관찰성 및 운영에 중요한 주요 지표에 대한 CloudWatch 대시보드 및 경보 생성
8 Amazon MSK 주요 기능 및 개념 클러스터 업데이트 준비 상태 평가, Standard와 Express 간의 패치 동작 이해, 브로커 재시작이 클라이언트에 미치는 영향 이해

작동 방식

AI 코딩 에이전트에게 "MSK 클러스터 CPU가 높은 이유는 무엇입니까?"와 같은 Amazon MSK에 대한 질문을 할 때 또는 "내 Express 클러스터에 대한 모니터링을 설정하도록 도와주세요" - 스킬이 활성화되고 에이전트에게 다음을 제공합니다.

  • 진단 워크플로 - 가장 가능성이 높은 근본 원인을 먼저 확인하는 구조화된 문제 해결 단계입니다(예: CPU 문제에 대한 브로커 조정을 권장하기 linger.ms 전에 확인).

  • Broker-type-aware 지침 - 스킬은 클러스터가 Standard 또는 Express 브로커를 사용하는지 여부를 결정하고 해당 브로커 유형에 대한 올바른 지표, 임계값 및 권장 사항을 적용합니다.

  • AWS CLI 명령 Ready-to-run 가능 명령입니다. CloudWatch

  • 모범 사례 검증 - 클러스터 구성을 문서화된 권장 사항과 비교하여 확인하고 편차에 플래그를 지정합니다.

설치

옵션 1: AWS CLI

AWS CLI 버전 2.35.0 이상이 필요합니다.

# Interactive setup (installs default skills + configures AWS MCP Server) aws configure agent-toolkit # Or install the skill individually aws agent-toolkit add-skill --skill-name managing-amazon-msk

전체 CLI 설명서는 AWS CLI를 사용한 기술 관리를 참조하세요.

옵션 2: AWS MCP 서버

샌드박스 AWS API 실행 기능과 함께 기술을 제공하는 AWS MCP 서버에 AI 코딩 에이전트를 연결합니다.

{ "mcpServers": { "aws-mcp": { "command": "uvx", "args": [ "mcp-proxy-for-aws==1.6.2", "https://aws-mcp.us-east-1.api.aws/mcp", "--metadata", "AWS_REGION=us-east-1" ] } } }

전체 설정 지침은 AWS MCP 서버 설정을 참조하세요.

사용 사례 및 예제

표준 브로커 모범 사례 평가

프롬프트: “브로커당 파티션이 2,500개인 kafka.m5.2xlarge 브로커를 사용하는 MSK Standard 클러스터가 있습니다. 모범 사례를 따르고 있나요?"

스킬:

  • m5.2xlarge에 대한 브로커당 파티션 2,000개의 권장 한도와 비교하여 파티션 수를 확인합니다.

  • 권장 개수를 초과하고 업데이트 작업을 지원하는 최대 3,000개에 근접하고 있음을 경고합니다.

  • 파티션을 줄이거나 m5.4xlarge(브로커당 파티션 4,000개 지원)로 업그레이드하는 것이 좋습니다.

  • num.io.threadsnum.network.threads 설정을 확인하고 크기가 작으면 튜닝을 권장합니다.

Express 브로커 성능 진단

프롬프트: "My Express 클러스터에는 Express.m7g.large 브로커가 3개 있으며 제한이 표시됩니다. 무엇이 잘못되었나요?"

스킬:

  • 가 브로커당 15.6MBps 수신 및 31.2MBps 송신을 express.m7g.large 지원하는지 확인합니다. MBps

  • 현재 처리량에 대해 문의하거나 CloudWatch 쿼리를 실행하여 BytesInPerSec 및를 확인합니다BytesOutPerSec.

  • 처리량이 브로커당 한도를 초과하는 경우 브로커로 조정express.m7g.xlarge하거나 추가하는 것이 좋습니다.

  • ProduceThrottleTimeFetchThrottleTime 지표를 확인합니다.

클라이언트 구성 감사

프롬프트: "MSK 모범 사례는 내 Kafka 생산자 구성 검토"

스킬:

  • 성능 및 내구성 고려 사항은 linger.ms, acks, batch.sizebuffer.memory, 등과 같은 중요한 구성을 확인하세요.

  • 시나리오에 대한 권장 사항을 제공하여 구성을 조정하고 성능을 개선하며 고가용성을 보장합니다.

모니터링 및 경보 설정

프롬프트: “모범 사례에 따라 MSK 클러스터에 대한 CloudWatch 모니터링을 설정하도록 도와주세요.”

스킬:

  • CPU 사용률(CpuUser + CpuSystem), RequestHandlerAvgIdlePercent등과 같은 중요한 지표에 대한 경보를 생성하여 브로커 포화를 모니터링합니다.

  • 표준의 경우: KafkaDataLogsDiskUsed > 85% 경보 및 UnderReplicatedPartitions > 0 경보를 추가합니다.

  • Express의 경우: 비용 최적화를 위한 StorageUsed 모니터링을 추가합니다.

  • 브로커별, 주제별 및 per-consumer-group 대시보드를 설정합니다.

소스 코드 및 기여

managing-amazon-msk 스킬이 오픈 소스입니다. 소스 코드를 검토하거나, 개선 사항을 제안하거나, 새 기능을 제공할 수 있습니다.

GitHub 문제 또는 풀 요청을 통해 추가 모범 사례 시나리오, 새로운 사용 사례 또는 수정 사항에 대한 피드백을 받을 수 있습니다.