View a markdown version of this page

CloudWatch Solution Amazon : informations sur Amazon MSK - Amazon CloudWatch
ExigencesActiver le collecteur géréNiveaux de surveillance détaillés d'Amazon MSKAfficher le tableau de bord automatiqueCoûts

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

CloudWatch Solution Amazon : informations sur Amazon MSK

Cette solution vous permet de surveiller vos clusters Amazon MSK CloudWatch sans utiliser ni faire évoluer votre propre infrastructure de collecte. Lorsque vous activez la surveillance ouverte sur un cluster Amazon MSK, celui-ci expose les Prometheus métriques via l'exportateur JMX et l'exportateur de nœuds, et un collecteur Prometheus CloudWatch géré par Amazon extrait ces métriques et les transmet à. CloudWatch Pour des informations générales sur toutes les solutions CloudWatch d'observabilité, consultezCloudWatch solutions d'observabilité. Pour la procédure pas à pas complète de configuration du collecteur, y compris la création d'un scraper et l'exemple de configuration du scrape, consultez. Intégrez Amazon MSK

Exigences

Cette solution est pertinente pour les conditions suivantes :

  • Un cluster Amazon MSK en mode provisionné, avec des courtiers standard ou express. Les collecteurs gérés ne prennent pas en charge les clusters Amazon MSK Serverless.

  • La surveillance ouverte est activée sur le cluster, qui expose l'exportateur JMX (port 11001) et l'exportateur de nœuds (port 11002).

  • Amazon VPC avec DNS activé et au moins deux sous-réseaux dans des zones de disponibilité différentes pour le collecteur.

  • Groupe de sécurité qui permet au collecteur d'accéder aux ports broker 11001 et 11002.

Activer le collecteur géré

Pour collecter des métriques Amazon MSK à l'aide d'un collecteur géré, vous activez Open Monitoring sur votre cluster, puis vous créez un VPC-connected collecteur qui extrait les points de terminaison du broker et fournit des mesures à votre ensemble de données. CloudWatch Le collecteur se connecte à votre VPC et analyse tous les courtiers à l'aide de la découverte des DNS-based services, afin que votre surveillance reste résiliente aux remplacements de courtiers et à la mise à l'échelle du cluster. Pour obtenir des instructions détaillées, consultez Intégrez Amazon MSK.

Note

Le --open-monitoring paramètre à lui seul expose les Prometheus points de terminaison sur les ports 11001 et 11002. Les niveaux de surveillance améliorés, tels que PER_TOPIC_PER_PARTITION ceux qui sont distincts de l'Open Monitoring, peuvent entraîner des frais supplémentaires. Ne les définissez donc que si vous avez besoin de ce niveau de métriques Amazon MSK.

Niveaux de surveillance détaillés d'Amazon MSK

Indépendamment des Prometheus métriques collectées par le collecteur, Amazon MSK publie ses propres métriques à différents CloudWatch niveaux de surveillance. Chaque niveau s'appuie sur le précédent et fournit une visibilité opérationnelle plus granulaire. Vous choisissez un niveau de surveillance lorsque vous créez ou mettez à jour le cluster. La liste suivante récapitule les niveaux. Pour obtenir la liste complète des métriques à chaque niveau, consultez la section Statistiques Amazon MSK à surveiller CloudWatch dans le Amazon MSK Developer Guide.

  • Surveillance de base (DEFAULT) : niveau par défaut, disponible sans frais supplémentaires. Comprend des mesures au niveau du cluster et au niveau du courtier, telles que le nombre de courtiers, le nombre de partitions, les octets et les messages entrants et sortants, l'utilisation du processeur et le réseau. I/O

  • Surveillance améliorée au niveau des courtiers (PER_BROKER) — Comprend une surveillance de base ainsi que des mesures plus détaillées par courtier, moyennant des frais supplémentaires.

  • Surveillance thématique améliorée (PER_TOPIC_PER_BROKER) — Comprend une surveillance améliorée au niveau des courtiers ainsi que des mesures par sujet pour une vue plus détaillée des performances thématiques des courtiers, moyennant un coût supplémentaire.

  • Surveillance améliorée au niveau des partitions (PER_TOPIC_PER_PARTITION) : niveau le plus détaillé. Comprend une surveillance thématique améliorée ainsi que des mesures précises par partition, telles que le décalage de décalage, moyennant des frais supplémentaires.

Note

Amazon MSK publie des mesures de surveillance détaillées par rapport aux CloudWatch mesures classiques, que vous pouvez interroger GetMetricData via l'API. Pour mettre à disposition des mesures de surveillance détaillées parallèlement aux Prometheus mesures d'Open Monitoring, vous devez activer OpenTelemetry l'enrichissement. Pour plus d'informations, consultez la section Enrichissement OpenTelemetry métrique.

Afficher le tableau de bord automatique

Une fois que le collecteur commence à transmettre vos métriques Amazon MSK à CloudWatch, la CloudWatch console fournit un tableau de bord automatique nommé MSK OTel. Pour l'ouvrir, consultez MSK OTel, ou connectez-vous à la console de AWS gestion, ouvrez la CloudWatch console, choisissez Tableaux de bord dans le volet de navigation, choisissez Tableaux de bord automatiques, puis choisissez MSK OTel. Vous pouvez commencer à surveiller vos clusters sans créer vous-même de widgets ou de tableaux de bord. Si le tableau de bord automatique répond à vos besoins, vous pouvez l'utiliser tel quel. Pour créer une expérience de surveillance personnalisée, vous pouvez ajouter n'importe lequel de ses widgets à un tableau de bord personnalisé. Pour plus d'informations sur les tableaux de bord personnalisés, consultez la section Utilisation des CloudWatch tableaux de bord.

Coûts

Nous facturons les Prometheus collecteurs à l'heure et un tarif d'ingestion CloudWatch OpenTelemetry métrique s'applique. Des niveaux de surveillance Amazon MSK plus élevés entraînent également des coûts mensuels supplémentaires. Pour plus d'informations sur la CloudWatch tarification, consultez la page CloudWatch Tarification Amazon.