View a markdown version of this page

Création de pipelines - Amazon CloudWatch
Création d'un pipeline de logsCréation d'un pipeline de métriques

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création de pipelines

CloudWatch les pipelines permettent de créer des pipelines à la fois pour les journaux et les données métriques. Les sections suivantes décrivent comment créer chaque type de pipeline.

Création d'un pipeline de logs

L'assistant de configuration du pipeline vous guide tout au long de la création de votre pipeline de données de journaux.

  1. Sous Paramètres généraux, fournissez les détails de la source de données, y compris le nom et le type de la source. Vous pouvez également spécifier des balises de pipeline et le nom de votre pipeline.

  2. Sous Destination, spécifiez les détails de la destination. Pour les pipelines de CloudWatch logs, Logs est la seule destination prise en charge. Pour les pipelines de métriques, CloudWatch Metrics est la seule destination prise en charge.

  3. Sous Processeur, ajoutez les processeurs et les analyseurs souhaités. Un analyseur syntaxique est une première étape obligatoire pour certains types de données. Vous pouvez effectuer une analyse personnalisée à l'aide de processeurs tels que Grok ou CSV. Vous pouvez utiliser le processeur de recherche pour enrichir les événements du journal avec les données d'une table de recherche Amazon CloudWatch Logs. Les processeurs qui ne sont pas pris en charge par le type de données sont désactivés.

    Pour configurer les processeurs à l'aide du langage naturel, AI-assistedactivez le bouton. Entrez une description des transformations de journal dont vous avez besoin, et CloudWatch Pipelines génère automatiquement la configuration du processeur. Pour les AWS journaux vendus, un exemple d'événement de journal est également généré afin que vous puissiez vérifier le résultat avant le déploiement. Vous pouvez revoir et modifier la configuration générée avant de créer le pipeline.

    Important

    Pour utiliser la configuration AI-assisted du processeur, vous devez disposer de l'autorisation logs:GeneratePipeline IAM. Pour de plus amples informations, veuillez consulter AI-assisted autorisations de configuration du processeur.

    Vous pouvez également ajouter des règles de traitement conditionnel aux processeurs pris en charge à l'aide du when paramètre. Le traitement conditionnel vous permet de contrôler les entrées du journal sur lesquelles un processeur agit. Pour connaître la syntaxe des expressions et les processeurs pris en charge, consultezSyntaxe d'expression pour le traitement conditionnel.

    Pour conserver les copies non modifiées de vos données de journal à des fins d'audit ou de conformité, activez le bouton Conserver le journal d'origine. Lorsque cette option est activée, les CloudWatch pipelines stockent automatiquement une copie de chaque événement du journal brut avant qu'une transformation n'ait lieu dans le champ @original_message système de l'événement. Cela garantit que les données d'origine sont toujours disponibles pour les audits ou les enquêtes, même après que les processeurs ont modifié les événements du journal. L'option Conserver le journal d'origine n'est disponible que pour les pipelines dotés d'une source CloudWatch de journal vendue.

  4. Sous Vérifier et créer, passez en revue la configuration du pipeline. Si vous êtes satisfait de la configuration, choisissez Create pipeline pour démarrer le déploiement et la création de ressources de pipeline. L'achèvement de la création du pipeline prend jusqu'à 5 minutes selon le type de source. Une fois terminé, vous serez redirigé vers l'onglet Pipelines de la console d'ingestion.

Important

Les configurations des processeurs de pipeline sont enregistrées dans AWS CloudTrail des événements à des fins d'audit et de conformité. Pour protéger les informations sensibles, n'incluez pas de mots de passe, de clés d'API ou d'autres informations sensibles dans les configurations du processeur.

Création d'un pipeline de métriques

Vous pouvez créer un pipeline de métriques à l'aide de la CloudWatch console ou de la AWS CLI. Avec un pipeline de métriques, vous pouvez traiter CloudWatch les données de métriques, appliquer des transformations et transférer les métriques traitées vers CloudWatch.

Pour créer un pipeline de métriques (console)

Utilisez la procédure suivante pour créer un pipeline de métriques dans la CloudWatch console.

  1. Ouvrez la CloudWatch console et dans le volet de navigation, choisissez Ingestion, Pipelines.

  2. Choisissez Créer un pipeline.

  3. Pour le type de source, sélectionnez CloudWatch Metrics (OTel).

  4. Configurez les critères de sélection pour spécifier les métriques traitées par le pipeline. Les critères de sélection utilisent les chemins d'attributs OTel tels que resource.attributesmetric.name, etdatapoint.attributes. Tous les critères utilisent la sémantique AND (tous doivent correspondre).

  5. Sous Processeur, ajoutez jusqu'à 20 processeurs pour transformer vos données métriques.

  6. Sous Vérifier et créer, passez en revue la configuration du pipeline et choisissez Create pipeline.

Pour créer un pipeline de mesures (AWS CLI)

Utilisez la create-telemetry-pipeline commande pour créer un pipeline de métriques à partir de la AWS CLI.

aws observabilityadmin create-telemetry-pipeline \
    --pipeline-configuration-body file://config.yaml

L'exemple suivant montre un fichier de configuration YAML qui définit un pipeline de métriques avec une source, un processeur et un récepteur.

pipeline:
  source:
    cloudwatch_metrics:
      format: otlp
      selection_criteria:
        - match_all:
            - 'resource.attributes["service.name"] == "payment-service"'
            - 'metric.name == "http.server.request.duration"'
  processor:
    - add_attributes:
        attributes:
          - key: resource.attributes["team"]
            value: "platform-engineering"
  sink:
    - cloudwatch_metrics: {}

Lorsque le pipeline est créé, il renvoie un ARN au format suivant :

arn:aws:observabilityadmin:region:accountId:telemetry-pipeline/pipelineID
Note

CloudWatch Les métriques sont la seule destination prise en charge pour les pipelines de métriques.

Opérations d’API prises en charge

Le tableau suivant répertorie les opérations d'API que vous pouvez utiliser pour gérer les pipelines de métriques.

Opération Description
CreateTelemetryPipeline Crée un nouveau pipeline de mesures.
GetTelemetryPipeline Récupère les détails d'un pipeline de métriques spécifique.
ListTelemetryPipelines Répertorie tous les pipelines de statistiques de votre compte.
DeleteTelemetryPipeline Supprime un pipeline de mesures.
ValidateTelemetryPipelineConfiguration Valide la configuration d'un pipeline avant sa création.
UpdateTelemetryPipeline Met à jour une configuration de pipeline de métriques existante.