View a markdown version of this page

Konfiguration benutzerdefinierter S3-Bucket-Quellen - Amazon CloudWatch

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfiguration benutzerdefinierter S3-Bucket-Quellen

Mit CloudWatch Pipelines können Sie beliebige Protokolle verarbeiten, die in S3-Buckets gespeichert sind.

Voraussetzungen

Um Amazon S3 als Quelle für eine Pipeline zu verwenden, erstellen Sie zunächst einen S3-Bucket. Eine Anleitung finden Sie unter Erstellen eines Allzweck-Buckets im Amazon S3-Benutzerhandbuch.

Anmerkung

Wenn sich der in der Pipeline als Quelle verwendete S3-Bucket in einem anderen AWS Konto befindet, müssen Sie auch kontoübergreifende Leseberechtigungen für den Bucket aktivieren. Dadurch kann die Pipeline die Daten lesen und verarbeiten. Informationen zur Aktivierung kontoübergreifender Berechtigungen finden Sie im Amazon S3-Benutzerhandbuch unter Bucket-Besitzer, der kontoübergreifende Bucket-Berechtigungen gewährt.

Wenn sich Ihre S3-Buckets in mehreren Konten befinden, verwenden Sie eine Map. bucket_owners Ein Beispiel finden Sie in der OpenSearch Dokumentation unter Cross-account S3-Zugriff.

Um die S3-SQS Verarbeitung einzurichten, müssen Sie außerdem die folgenden Schritte ausführen:

Konfigurieren Sie die Pipeline-Rolle

Im Gegensatz zu anderen Quell-Plugins, die Daten an eine Pipeline übertragen, verfügt das S3-Quell-Plug-In über eine lesebasierte Architektur, bei der die Pipeline Daten aus der Quelle abruft. Damit eine Pipeline aus S3 lesen kann, müssen Sie daher eine Rolle in der S3-Quellkonfiguration der Pipeline angeben, die Zugriff sowohl auf den S3-Bucket als auch auf die Amazon SQS-Warteschlange hat. Die Pipeline übernimmt diese Rolle, um Daten aus der Warteschlange zu lesen.

Beispiele für Rollenberechtigungen finden Sie in den Source-specific IAM-Richtlinien. Beachten Sie, dass diese Rolle eine Vertrauensbeziehung zum CloudWatch Pipelines-Serviceprinzip haben muss. Ein Beispiel für eine Konfiguration einer Vertrauensrichtlinie für Ihre Pipeline-Rolle finden Sie unter Vertrauensbeziehungen.

Erstellen Sie die Pipeline

Nachdem Sie Ihre Berechtigungen eingerichtet haben, können Sie je nach Ihrem Amazon S3-Anwendungsfall eine Pipeline konfigurieren.

Wählen Sie in der Konsole auf der Registerkarte Pipelines unter Ingestion die Option Pipeline erstellen aus. CloudWatch Folgen Sie den Schritten des Pipeline-Assistenten und geben Sie den ARN der SQS-Warteschlange und die erforderliche Pipeline-IAM-Rolle an, wenn Sie dazu aufgefordert werden. Geben Sie optional den Namen und den Typ der Datenquelle ein, die an das Ziel der Protokollgruppe angehängt werden sollen, in CloudWatch Logs.

Stellen Sie sicher, dass Sie eine CloudWatch Protokollressourcenrichtlinie für die Zielprotokollgruppe konfigurieren, sofern noch keine für die Zielprotokollgruppe konfiguriert ist, und wählen Sie dann im Schritt Überprüfen und Erstellen die Option Pipeline erstellen aus. Die Pipeline wird erstellt und der Datenfluss beginnt innerhalb von 5 Minuten, wenn dies erfolgreich ist.

Amazon S3 Cross Account als Quelle

Sie können kontoübergreifenden Zugriff mit Amazon S3 gewähren, sodass CloudWatch Pipelines auf S3-Buckets in einem anderen Konto als Quelle zugreifen können. Informationen zum Ermöglichen des kontoübergreifenden Zugriffs finden Sie unter Bucket-Inhaber, der kontoübergreifende Bucket-Berechtigungen erteilt, im Amazon S3-Benutzerhandbuch. Nachdem Sie den Zugriff gewährt haben, stellen Sie sicher, dass Ihre Pipeline-Rolle über die erforderlichen Berechtigungen verfügt.

Anschließend können Sie eine Pipeline erstellen, bucket_owners um den kontoübergreifenden Zugriff auf einen Amazon S3-Bucket als Quelle zu ermöglichen.

Benutzerdefinierte Quellkonfiguration

Beim Erstellen einer Pipeline für benutzerdefinierte Quellen:

  • Ein Parser muss der erste Prozessor in der Pipeline sein

  • Sie können jeden unterstützten Prozessor für benutzerdefinierte Log-Pipelines angeben