Erstellen einer S3-Ereignisintegration, um Dateien automatisch aus Amazon-S3-Buckets zu kopieren

Der Amazon-S3-Bucket muss über eine Bucket-Richtlinie verfügen, die mehrere Amazon-S3-Berechtigungen zulässt. Die folgende Beispielrichtlinie ermöglicht beispielsweise Berechtigungen für den Ressourcen-Bucketamzn-s3-demo-bucket, in us-east-1 dem gehostet wird. Sowohl der Amazon-S3-Bucket als auch die Integration befinden sich in der derselben AWS-Region.

Der von Amazon Redshift bereitgestellte Zielcluster oder der Redshift-Serverless-Namespace muss über Berechtigungen für den Bucket verfügen. Überprüfen Sie, ob eine IAM-Rolle, die Ihrem Cluster oder Serverless Namespace zugeordnet ist, über eine IAM-Richtlinie verfügt, die die richtigen Berechtigungen zulässt. Die Richtlinie muss sowohl s3:GetObject für eine Bucket-Ressource wie amzn-s3-demo-bucket als auch s3:ListBucket für eine Bucket-Ressource und ihren Inhalt zulassen, z. B. amzn-s3-demo-bucket/*.

Fügen Sie Ihre Richtlinie wie folgt zu einer IAM-Rolle hinzu, für die eine Vertrauensbeziehung besteht.

Wenn Ihr Ziel-Data-Warehouse ein bereitgestellter Cluster ist, können Sie Ihrem bereitgestellten Cluster über die Amazon-Redshift-Konsole auf der Registerkarte Cluster-Berechtigungen in den Cluster-Details eine IAM-Rolle zuordnen. Informationen dazu, wie Sie Ihrem bereitgestellten Cluster eine Rolle zuordnen, finden Sie unter Zuordnen von IAM-Rollen zu Clustern im Managementleitfaden zu Amazon Redshift.

Wenn Ihr Ziel-Data-Warehouse Redshift Serverless ist, können Sie Ihrem Serverless-Namespace über die Redshift-Serverless-Konsole auf der Registerkarte Sicherheit und Verschlüsselung in den Namespace-Details eine IAM-Rolle zuordnen. Informationen dazu, wie Sie Ihrem Serverless-Namespace eine Rolle zuordnen, finden Sie unter Gewähren von Berechtigungen für Amazon Redshift Serverless im Managementleitfaden zu Amazon Redshift.

Ihr Data Warehouse in Amazon Redshift muss auch über eine Ressourcenrichtlinie verfügen, die den Amazon-S3-Bucket zulässt. Wenn Sie die Amazon-Redshift-Konsole verwenden und die S3-Ereignisintegration erstellen, bietet Amazon Redshift die Option Reparieren, um diese Richtlinie zu Ihrem Data Warehouse in Amazon Redshift hinzuzufügen. Zum Aktualisieren einer Ressourcenrichtlinie können Sie den AWS CLI -Befehl put-resource-policy verwenden. Um beispielsweise eine Ressourcenrichtlinie an Ihren von Amazon Redshift bereitgestellten Cluster für eine S3-Ereignisintegration mit einem Amazon S3-Bucket anzuhängen, führen Sie einen AWS CLI Befehl ähnlich dem folgenden aus. Das folgende Beispiel zeigt eine Richtlinie für einen bereitgestellten Cluster-Namespace im us-east-1 AWS-Region Benutzerkonto for. 123456789012 Der Bucket ist benannt. amzn-s3-demo-bucket

aws redshift put-resource-policy \
--policy file://rs-rp.json \
--resource-arn "arn:aws:redshift: us-east-1:123456789012:namespace/cc4ffe56-ad2c-4fd1-a5a2-f29124a56433"

Wobei rs-rp.json Folgendes enthält:

Um eine Ressourcenrichtlinie für eine S3-Ereignisintegration mit einem Amazon S3-Bucket an Ihren Redshift Serverless-Namespace anzuhängen, führen Sie einen AWS CLI Befehl ähnlich dem folgenden aus. Das folgende Beispiel zeigt eine Richtlinie für einen serverlosen Namespace im Benutzerkonto for. us-east-1 AWS-Region 123456789012 Der Bucket ist benannt. amzn-s3-demo-bucket

aws redshift put-resource-policy \
--policy file://rs-rp.json \
--resource-arn "arn:aws:redshift-serverless:us-east-1:123456789012:namespace/namespace-1"

Wobei rs-rp.json Folgendes enthält:

SYS_COPY_JOB – enthält eine Zeile für jeden derzeit definierten COPY JOB.

SYS_COPY_JOB_DETAIL – enthält Details zu ausstehenden, fehlerhaften und erfassten Dateien für jeden COPY JOB.

SYS_COPY_JOB_INFO – enthält protokollierte Meldungen zu einem COPY JOB.

SYS_LOAD_HISTORY – enthält Details zu COPY-Befehlen.

SYS_LOAD_ERROR_DETAIL – enthält Details zu Fehlern bei COPY-Befehlen.

SVV_COPY_JOB_INTEGRATIONS – enthält Details zu S3-Ereignisintegrationen.

STL_LOAD_ERRORS – enthält Fehler von COPY-Befehlen.

STL_LOAD_COMMITS – enthält Informationen, die zur Behebung von Fehlern beim Laden von COPY-Befehlsdaten verwendet werden.

Sie können maximal 200 COPY JOBS für jeden Cluster oder jede Arbeitsgruppe in einem AWS-Konto erstellen.

Sie können maximal 50 S3-Ereignisintegrationen für jedes Amazon-Redshift-Ziel erstellen.

Sie können keine S3-Ereignisintegration mit einem Quell-Bucket in Amazon S3 erstellen, der im Namen einen Punkt (.) enthält.

Sie können jeweils nur eine S3-Ereignisintegration zwischen derselben Quelle und demselben Ziel erstellen. Das bedeutet, dass es jeweils nur eine S3-Ereignisintegration zwischen einem Amazon-S3-Bucket und einem Data Warehouse in Amazon Redshift geben kann.

Es darf keine vorhandenen Ereignisbenachrichtigungen für den Ereignistyp S3_OBJECT_CREATED geben, die im Quell-Bucket in Amazon S3 definiert sind. Nachdem eine S3-Ereignisintegration erstellt wurde, können Sie jedoch die Amazon S3-Bucket-Ereignisbenachrichtigung mit einer Benachrichtigung prefix/suffix mit einem engeren Umfang aktualisieren. Auf diese Weise können Sie auch andere Ziele S3_OBJECT_CREATED für andere prefix/suffix Ziele konfigurieren und so einen Konflikt mit der S3-Ereignisintegration vermeiden. Wenn Sie Probleme haben, weil das automatische Kopieren nicht wie erwartet ausgeführt wurde, bereiten Sie das AWS CloudTrail Protokoll der s3:PutBucketNotificationConfiguration Aktion in Ihrem S3-Bucket für den betreffenden Zeitraum vor, in dem Sie Kontakt aufnehmen AWS Support.

Beim Wiederherstellen eines Snapshots in einem anderen Namespace werden S3-Eventintegrationen nicht beibehalten.

Nach der Wiederherstellung identifiziert Amazon Redshift automatisch Dateien, die nach der Erstellung des Snapshots in den Amazon S3-Quell-Bucket hochgeladen wurden. Alle in Amazon S3 vorhandenen Dateien, die noch nicht geladen wurden, werden automatisch aufgenommen. Während dieses Vorgangs funktioniert die Aufnahme neuer Dateien aus S3-Ereignisbenachrichtigungen weiterhin parallel.

Wenn nach der Erstellung des Snapshots eine S3-Ereignisintegration erstellt wurde, geht die Integration nach der Wiederherstellung in den NEEDS_ATTENTION Zustand über. Um dieses Problem zu beheben, können Sie eine Wiederherstellung anhand eines neueren Snapshots durchführen, der die Integration enthält, oder die Integration löschen.

Wenn eine S3-Event-Integration nach der Erstellung des Snapshots gelöscht wurde, wird die Integration nicht wiederhergestellt. Der entsprechende COPY JOB-Status ändert sich inPENDING. Sie können eine neue Integration für denselben Amazon S3-Bucket erstellen und den COPY JOB erneut erstellen. Dateien, die zwischen dem Snapshot-Zeitpunkt und der Neuerstellung der COPY-JOBS zu S3 hinzugefügt wurden, können nicht wiederhergestellt oder erneut aufgenommen werden. Um diese Dateien zu identifizieren, überprüfen Sie die Snapshot-Zeit in der Konsole und die Zeit zum Löschen der Integration. Bei CloudTrail den Dateien, die zwischen diesen Zeiten im S3-Bucket eingetroffen sind, handelt es sich um die Dateien, die übersehen wurden.

Wenn COPY JOBs nach der Erstellung des Snapshots geändert wurden, verwendet der wiederhergestellte Namespace die COPY JOBs aus dem Snapshot. Amazon Redshift gleicht alle Unterschiede ab und aktualisiert die Integration, um die wiederhergestellte COPY JOB-Konfiguration widerzuspiegeln.

Um die Aufrechterhaltung von S3-Eventintegrationen während einer Wiederherstellung zu deaktivieren, deaktivieren Sie das Kontrollkästchen Integrationen verwalten auf der Wiederherstellungsseite in der oder, falls Sie die verwenden, legen Sie den --no-maintain-integration Parameter fest AWS-Managementkonsole, wenn Sie den API-Vorgang „Restore-From-Snapshot“ oder „https://docs.aws.amazon.com/redshift-serverless/latest/APIReference/API_RestoreFromSnapshot.htmlRestore-From-Recovery-Point“ aufrufen. AWS CLIhttps://docs.aws.amazon.com/redshift-serverless/latest/APIReference/API_RestoreFromRecoveryPoint.html Wenn Sie sich abmelden, gehen Integrationen in den Zustand nach der Wiederherstellung über. FAILED

Diese Funktion gilt nur für Amazon Redshift Serverless, wenn sie im gleichen serverlosen Namespace wiederhergestellt wird. Bei Snapshot-Wiederherstellungen auf bereitgestellten Clustern werden S3-Eventintegrationen nicht beibehalten.