View a markdown version of this page

Benutzerdefinierte Protokolldaten aus CloudWatch Logs oder einem Amazon S3-Bucket - Amazon CloudWatch

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Benutzerdefinierte Protokolldaten aus CloudWatch Logs oder einem Amazon S3-Bucket

Sie können Pipelines für benutzerdefinierte Datenquellen mithilfe der folgenden Methoden erstellen:

  1. CloudWatch Benutzerdefinierte Protokolle — Definieren Sie Pipelines für Ihre vorhandenen CloudWatch benutzerdefinierten Protokollgruppen, indem Sie Folgendes bereitstellen:

    • Ein Datenquellenname

    • Ein Datenquellentyp

    Weitere Informationen zum Namen und Typ der Datenquelle finden Sie im CloudWatch Logs-Benutzerhandbuch.

  2. Benutzerdefinierte S3-Quellen — Verarbeiten Sie beliebige Protokolle, die in S3-Buckets gespeichert sind, indem Sie die Quelle für die Pipeline konfigurieren:

    source:
  s3:
    aws:
      region: "us-east-1"
      sts_role_arn: "arn:aws:iam::<account>:role/<role-name>"
    compression: "gzip"
    codec:
      ndjson:
    data_source_name: "my_custom_logs"
    default_bucket_owner: "123456789012"
    bucket_owners:
      my-bucket: "123456789012"
    disable_bucket_ownership_validation: false
    notification_type: "sqs"
    sqs:
      queue_url: "https://sqs.region.amazonaws.com/<account>/<queue-name>"
    on_error: "retain_messages"
    Anmerkung

    Der CSV-Prozessor kann nicht mit benutzerdefinierten S3-Quellen verwendet werden. Verwenden Sie stattdessen den CSV-Codec in der S3-Quelle.

    Parameters
    notification_type (Erforderlich)

    Gibt den Benachrichtigungsmechanismus an. Muss „sqs“ sein, um SQS für S3-Ereignisbenachrichtigungen verwenden zu können.

    data_source_name

    Identifiziert die Datenquelle. Dies kann ein beliebiger Zeichenfolgenwert sein, der Ihre Datenquelle darstellt. Beispiel: „my_custom_logs“.

    aws.region (Erforderlich)

    Die AWS Region, in der sich der S3-Bucket und die SQS-Warteschlange befinden.

    aws.sts_role_arn (Erforderlich)

    Der ARN der IAM-Rolle, die für den Zugriff auf S3- und SQS-Ressourcen übernommen werden soll.

    codec (Erforderlich)

    Codec-Konfiguration zum Parsen von S3-Objekten. Unterstützt csv Codecsjson. ndjson

    compression (optional)

    Komprimierungstyp der S3-Objekte. Gültige Werte sind „none“, „gzip“, „automatic“. Die Standardeinstellung ist „none“.

    sqs.queue_url(erforderlich für SQS)

    Die vollständige URL der SQS-Warteschlange, die S3-Bucket-Benachrichtigungen empfängt, wenn neue Objekte erstellt werden.

    on_error (optional)

    Legt fest, wie mit Fehlern in Amazon SQS umgegangen wird. Kann retain_messages oder delete_messages sein. Der Standardwert ist retain_messages.

Benutzerdefinierte Quellkonfiguration

Beim Erstellen einer Pipeline für benutzerdefinierte Quellen:

  • Ein Parser muss der erste Prozessor in der Pipeline sein, wenn es sich bei der Datenquelle um Logs handelt CloudWatch

  • Sie können jeden unterstützten Prozessor für benutzerdefinierte Log-Pipelines angeben

Themen