View a markdown version of this page

CloudWatch canalisations - Amazon CloudWatch
Composants du pipelineTarificationDisponibilité dans les Régions

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

CloudWatch canalisations

CloudWatch pipelines est un collecteur de données entièrement géré qui ingère, transforme et achemine les données de télémétrie, y compris les journaux et les mesures, depuis des AWS services, des applications tierces et des sources personnalisées vers. CloudWatch Built-in les processeurs vous permettent d'enrichir, de filtrer et de standardiser les journaux dans des formats tels que OCSF, sans gérer l'infrastructure ou les outils tiers. Pour les métriques, les CloudWatch pipelines traitent et enrichissent OpenTelemetry (OTel) les métriques en ligne lors de l'ingestion dans. CloudWatch

CloudWatch pipelines est entièrement intégré à l'expérience de gestion des journaux, ce qui vous permet de traiter et d'enrichir de manière cohérente les données des journaux dans les groupes de journaux associés via la spécification de la source et du type de données. Cela permet de débloquer des cas d'utilisation tels que :

  • Catégorisation automatique des journaux : les journaux traités par le biais de pipelines sont automatiquement étiquetés avec des informations sur les sources de données, ce qui permet une découverte centrée sur les services et des requêtes dans l'ensemble de votre infrastructure

  • Élargir le support tiers : agréger et normaliser les journaux issus d'une bibliothèque croissante de sources tierces pour une analyse et une conformité unifiées

Pour les métriques, les CloudWatch pipelines permettent les cas d'utilisation suivants :

  • Enrichissement — Ajoutez un contexte commercial tel qu'une équipe, un centre de coûts ou un environnement aux indicateurs provenant de sources que vous ne pouvez pas modifier

  • Optimisation des coûts — Supprimez les attributs à cardinalité élevée pour réduire les coûts de stockage

  • Normalisation : renommez les métriques et les attributs pour appliquer les conventions de dénomination

La sortie des pipelines est entièrement compatible avec les fonctionnalités de CloudWatch Logs, notamment les requêtes Logs Insights, la détection des anomalies des logs et Live Tail. CloudWatch pipelines fonctionne avec les classes de log Standard et Infrequent Access et est rétrocompatible avec les Log Transformers.

Pour les pipelines de métriques, les métriques traitées sont entièrement interrogeables via ProMQL dans Query Studio et compatibles avec les CloudWatch alarmes et la détection d'anomalies.

Pour commencer à utiliser les CloudWatch pipelines, consultez les pipelines sur la page CloudWatch d'ingestion de la CloudWatch console.

Note

Soyez conscient des limites suivantes qui s'appliquent aux CloudWatch pipelines

  • Nombre de pipelines de logs par compte : 330

    • Jusqu'à 300 pipelines pour collecter des données à partir de CloudWatch Logs

    • Jusqu'à 30 pipelines pour collecter des données provenant d'autres sources

  • Pipelines de mesures par compte : jusqu'à 300

  • Jusqu'à 20 processeurs par pipeline (journaux et métriques)

  • Chemin d'ingestion pris en charge par les pipelines de métriques : OTLP uniquement

Composants du pipeline

Chaque pipeline comprend les composants suivants :

  • Source : définit l'origine des données (compartiments Amazon S3, CloudWatch journaux, CloudWatch métriques (OTel), intégration tierce). Chaque pipeline doit avoir exactement une source. Les pipelines de métriques traitent les métriques OTel sur le chemin d'ingestion OTLP.

  • Processeurs (facultatif) : transformez, analysez et enrichissez les données de télémétrie au fur et à mesure qu'elles circulent dans le pipeline. Les processeurs sont appliqués séquentiellement dans l'ordre dans lequel ils sont définis. Les pipelines de métriques prennent en charge un ensemble distinct de processeurs optimisés pour les attributs métriques OTel.

  • Réservoir — Définit la destination vers laquelle les données traitées sont envoyées. Les types de cuvettes pris en charge incluent cloudwatch_logs etcloudwatch_metrics. Chaque pipeline doit avoir exactement un puits.

  • Extensions (facultatives) : fournissent des fonctionnalités supplémentaires telles que l'intégration de AWS Secrets Manager pour la gestion des informations d'identification.

Tout au long du pipeline, vos données restent protégées grâce au chiffrement de la couche de transport afin qu'elles répondent aux exigences de sécurité et de conformité.

Note

Les définitions de pipeline ne sont pas chiffrées à l'aide des clés fournies par le client et ne doivent jamais inclure de données sensibles, telles que des mots de passe, des clés d'API ou des informations personnelles identifiables (PII).

Note

L'ajout de processeurs entraîne une mutation des événements du journal et les journaux originaux (bruts) ne sont pas conservés.

Tarification

CloudWatch les pipelines sont inclus dans CloudWatch Logs sans frais supplémentaires. Les taux d'ingestion de journaux standard basés sur la classe de journal (vendu ou personnalisé) et la classe de stockage (accès standard ou peu fréquent) s'appliquent toujours. Le dosage a lieu au moment de la première ingestion dans. CloudWatch CloudWatch Les sources de logs sont mesurées avant le traitement du pipeline. Third-party et les sources du compartiment S3 sont classées dans la catégorie des journaux personnalisés et mesurées après traitement. Pour plus d'informations sur la tarification, consultez la page CloudWatch Pricing (Tarification).

Pour les pipelines de mesures, les frais standard d'ingestion et de stockage des métriques CloudWatch OTel s'appliquent. Il n'y a aucun frais supplémentaire pour le traitement du pipeline.

Disponibilité dans les Régions

CloudWatch les pipelines sont disponibles dans les AWS régions suivantes :

  • USA Est (Virginie du Nord)

  • USA Est (Ohio)

  • USA Ouest (Californie du Nord)

  • USA Ouest (Oregon)

  • Afrique (Le Cap)

  • Asie-Pacifique (Hong Kong)

  • Asie-Pacifique (Hyderabad)

  • Asie-Pacifique (Jakarta)

  • Asie-Pacifique (Malaisie)

  • Asie-Pacifique (Melbourne)

  • Asie-Pacifique (Mumbai)

  • Asie-Pacifique (Nouvelle Zélande)

  • Asie-Pacifique (Osaka)

  • Asia Pacific (Seoul)

  • Asie-Pacifique (Singapour)

  • Asie-Pacifique (Sydney)

  • Asie-Pacifique (Taipei)

  • Asie-Pacifique (Thaïlande)

  • Asie-Pacifique (Tokyo)

  • Canada (Centre)

  • Canada-Ouest (Calgary)

  • Europe (Francfort)

  • Europe (Irlande)

  • Europe (Londres)

  • Europe (Milan)

  • Europe (Paris)

  • Europe (Espagne)

  • Europe (Stockholm)

  • Europe (Zurich)

  • Israël (Tel Aviv)

  • Mexique (Centre)

  • Amérique du Sud (São Paulo)

Note

Third-party la collecte de sources de données est disponible dans les régions où OpenSearch Ingestion possède des points de terminaison d'API.

Pour plus de détails, consultez la section CloudWatch Points de terminaison et quotas Amazon dans le Références générales AWS.