View a markdown version of this page

Analysez les meilleures pratiques grâce à la compétence managing-amazon-msk - Amazon Managed Streaming for Apache Kafka

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Analysez les meilleures pratiques grâce à la compétence managing-amazon-msk

La managing-amazon-msk compétence est une compétence d'agent open source disponible sur le site Web Agent Skills à partir de l'AWS Agent Toolkit, GitHub qui fournit une expertise dans le domaine pour l'exploitation de clusters Amazon MSK Provisioned. Une fois que vous avez installé la compétence dans un agent de codage d' MCP-compatible IA (tel que KiroCursor,,Claude Code, etc.), elle permet à l'agent d'IA de vous aider à évaluer votre cluster et vos clients par rapport aux meilleures pratiques, à diagnostiquer les problèmes opérationnels et à mettre en œuvre les configurations recommandées pour les courtiers et les Kafka clients Standard et Express. La compétence code les connaissances MSK-specific opérationnelles que les modèles d'IA à usage général appliquent mal ou omettent fréquemment.

Fonctionnalités

La compétence couvre les domaines suivants, chacun correspondant aux meilleures pratiques documentées dans ce guide.

Domaine des meilleures pratiques Ce que cette compétence vous aide à faire
1 Meilleures pratiques pour les courtiers Standard(Norme) Évaluez le nombre de partitions par broker, recommandez la taille des instances, évaluez num.io.threads et num.network.threads optimisez les instances m5.4xl+ et m7g.4XL+
2 Meilleures pratiques pour les courtiers Express(Express) Calculez le nombre de courtiers requis en fonction des limites de débit par courtier, recommandez les types d'instance Express pour la cible ingress/egress, évaluez le nombre de partitions par rapport aux quotas Express
3 Surveiller l'utilisation de l'UC Diagnostiquez la saturation des ressources des courtiers, faites la différence entre les causes profondes et les erreurs de configuration côté courtier et côté client, et déterminez quand une mise à l'échelle est nécessaire
4 Surveiller l'espace disque Évaluez l'utilisation du stockage pour les courtiers Standard, identifiez les sujets à forte croissance, recommandez l'expansion d'EBS ou des ajustements de rétention. Pour Express, surveillez l'utilisation du stockage (le stockage est entièrement géré) afin d'optimiser les coûts
5 Connectez-vous à un cluster Amazon MSK Provisioned producer/consumer Auditez les paramètres, configurez l'authentification, optimisez la haute disponibilité et la tolérance aux pannes
6 Créer des clusters hautement disponibles Vérifiez les configurations de haute disponibilité et le déploiement multi-AZ pour les courtiers standard, ainsi que la configuration du basculement client
7 Surveiller un cluster Amazon MSK Provisioned Créez des CloudWatch tableaux de bord et des alarmes pour les indicateurs clés essentiels à l'observabilité et aux opérations d'Amazon MSK
8 Principales fonctionnalités et concepts d'Amazon MSK Évaluez l'état de préparation du cluster pour les mises à jour, comprenez le comportement des correctifs entre Standard et Express, comprenez l'impact du redémarrage des courtiers sur les clients

Comment ça marche

Lorsque vous posez à votre agent de codage IA une question à propos d'Amazon MSK, par exemple « Pourquoi le processeur de mon cluster MSK est-il élevé ? » ou « Aidez-moi à configurer la surveillance de mon cluster Express » : la compétence s'active et fournit à l'agent :

  • Flux de travail de diagnostic  : étapes de dépannage structurées qui vérifient d'abord les causes premières les plus probables (par exemple, vérifier linger.ms avant de recommander la mise à l'échelle du broker pour les problèmes de processeur).

  • Broker-type-aware conseils  : la compétence détermine si votre cluster utilise des courtiers Standard ou Express et applique les mesures, les seuils et les recommandations appropriés pour ce type de courtier.

  • AWS Commandes CLI  : Ready-to-run commandes permettant de décrire des clusters, d'étendre le stockage, de créer des configurations et d'interroger CloudWatch des métriques.

  • Validation des meilleures pratiques  : vérifie la configuration de votre cluster par rapport aux recommandations documentées et signale les écarts.

Installation

Option 1 : AWS INTERFACE DE LIGNE DE COMMANDE (CLI)

Nécessite la version 2.35.0 ou ultérieure de la AWS CLI.

# Interactive setup (installs default skills + configures AWS MCP Server) aws configure agent-toolkit # Or install the skill individually aws agent-toolkit add-skill --skill-name managing-amazon-msk

Pour consulter la documentation complète de la CLI, consultez la section Gestion des compétences à l'aide de la AWS CLI.

Option 2 : AWS Serveur MCP

Connectez votre agent de codage IA au serveur AWS MCP, qui fournit cette compétence ainsi que des capacités d'exécution d' AWS API en mode sandbox.

{ "mcpServers": { "aws-mcp": { "command": "uvx", "args": [ "mcp-proxy-for-aws==1.6.2", "https://aws-mcp.us-east-1.api.aws/mcp", "--metadata", "AWS_REGION=us-east-1" ] } } }

Pour obtenir des instructions de configuration complètes, consultez la section Configuration du serveur AWS MCP.

Cas d'utilisation et exemples

Évaluer les meilleures pratiques des courtiers standard

Rapide : « J'ai un cluster MSK Standard utilisant des courtiers kafka.m5.2xlarge avec 2 500 partitions par courtier. Suis-je conforme aux meilleures pratiques ? »

La compétence :

  • Comparez votre nombre de partitions à la limite recommandée de 2 000 partitions par broker pour m5.2xlarge.

  • Avertissez que vous dépassez le nombre recommandé et que vous approchez du maximum de 3 000 pouvant prendre en charge les opérations de mise à jour.

  • Il est recommandé de réduire les partitions ou de passer à m5.4xlarge (qui prend en charge 4 000 partitions par courtier).

  • Vérifiez vos num.network.threads paramètres num.io.threads et recommandez le réglage si vous êtes trop petit.

Diagnostiquer les performances d'Express Broker

Rapide : « Mon cluster Express compte 3 courtiers express.m7g.large et je constate un ralentissement. Qu'est-ce qui ne va pas ? »

La compétence :

  • Identifiez qui express.m7g.large prend en charge 15,6 Mo/s en entrée et 31,2 Mo/s en sortie par courtier.

  • Renseignez-vous sur votre débit actuel ou exécutez une CloudWatch requête pour vérifier BytesInPerSec etBytesOutPerSec.

  • Si le débit dépasse les limites par courtier, recommandez de passer à des courtiers express.m7g.xlarge ou d'en ajouter.

  • Contrôle ProduceThrottleTime et FetchThrottleTime statistiques.

Configuration du client d'audit

Prompt : « Passez en revue la configuration de mon producteur Kafka pour connaître les meilleures pratiques sur MSK »

La compétence :

  • Vérifiez les configurations critiques telles quelinger.ms,, acks batch.sizebuffer.memory, et plus encore pour prendre en compte les performances et la durabilité.

  • Fournissez des recommandations pour votre scénario afin d'ajuster les configurations, d'améliorer les performances et de garantir une haute disponibilité.

Configuration de la surveillance et des alarmes

Rapide : « Aidez-moi à configurer la CloudWatch surveillance de mon cluster MSK en suivant les meilleures pratiques »

La compétence :

  • Créez des alarmes pour des indicateurs critiques tels que l'utilisation du processeur (CpuUser + CpuSystem)RequestHandlerAvgIdlePercent, etc. afin de surveiller la saturation des courtiers.

  • Pour la version Standard : ajoutez une KafkaDataLogsDiskUsed > 85% alarme et une UnderReplicatedPartitions > 0 alarme.

  • Pour Express : ajoutez une StorageUsed surveillance pour optimiser les coûts.

  • Configurez des tableaux de bord par courtier, par sujet et par groupe de consommateurs.

Code source et contributions

La managing-amazon-msk compétence est open source. Vous pouvez consulter le code source, suggérer des améliorations ou apporter de nouvelles fonctionnalités.

Les commentaires sur des scénarios de meilleures pratiques supplémentaires, de nouveaux cas d'utilisation ou des corrections sont les bienvenus via des GitHub problèmes ou des pull requests.