Créez une intégration d'événements S3 pour copier automatiquement des fichiers depuis des compartiments Amazon S3

Votre compartiment Amazon S3 doit avoir une politique de compartiment qui autorise plusieurs autorisations Amazon S3. Par exemple, l'exemple de politique suivant autorise des autorisations pour le compartiment amzn-s3-demo-bucket de ressources hébergé dansus-east-1. Le compartiment Amazon S3 et l'intégration se trouvent tous deux dans le même boîtier Région AWS.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Auto-Copy-Policy-01",
            "Effect": "Allow",
            "Principal": {
                "Service": "redshift.amazonaws.com"
                },
            "Action": [
                "s3:GetBucketNotification",
                "s3:PutBucketNotification",
                "s3:GetBucketLocation"
            ],
            "Resource": "arn:aws:s3:::amzn-s3-demo-bucket",
            "Condition": {
                "StringLike": {
                    "aws:SourceArn": "arn:aws:redshift:us-east-1:123456789012:integration:*",
                    "aws:SourceAccount": "123456789012"
                }
            }
        }
    ]
}

Votre cluster provisionné Amazon Redshift ou votre espace de noms Redshift Serverless cible doit être autorisé à accéder au compartiment. Vérifiez qu'un rôle IAM associé à votre cluster ou à votre espace de noms sans serveur dispose d'une politique IAM qui autorise les autorisations appropriées. La politique doit autoriser s3:GetObject à la fois une ressource de compartiment telle que amzn-s3-demo-bucket et s3:ListBucket une ressource de compartiment et son contenu tel queamzn-s3-demo-bucket/*.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AutoCopyReadId",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-bucket",  
                "arn:aws:s3:::amzn-s3-demo-bucket/*" 
            ]
        }
    ]
}

Ajoutez votre politique à un rôle IAM doté d'une relation de confiance. Pour ce rôle, procédez comme suit.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "redshift.amazonaws.com"
                ]
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

Si votre entrepôt de données cible est un cluster provisionné, vous pouvez associer un rôle IAM à votre cluster provisionné à l'aide de la console Amazon Redshift, onglet Autorisations du cluster dans les détails de votre cluster. Pour plus d'informations sur la façon d'associer un rôle à votre cluster provisionné, consultez la section Associer des rôles IAM à des clusters dans le guide de gestion Amazon Redshift.

Si votre entrepôt de données cible est Redshift Serverless, vous pouvez associer un rôle IAM à votre espace de noms sans serveur à l'aide de la console Redshift Serverless, onglet Sécurité et chiffrement dans les détails de votre espace de noms. Pour plus d'informations sur la façon d'associer un rôle à votre espace de noms sans serveur, consultez la section Octroi d'autorisations à Amazon Redshift Serverless dans le guide de gestion Amazon Redshift.

Votre entrepôt de données Amazon Redshift doit également disposer d'une politique de ressources autorisant le compartiment Amazon S3. Si vous utilisez la console Amazon Redshift, lorsque vous créez l'intégration des événements s3, Amazon Redshift propose l'option Fix it for me permettant d'ajouter cette politique à votre entrepôt de données Amazon Redshift. Pour mettre à jour vous-même une politique de ressources, vous pouvez utiliser la put-resource-policy AWS CLI commande. Par exemple, pour associer une politique de ressources à votre cluster provisionné Amazon Redshift afin d'intégrer un événement S3 à un compartiment Amazon S3, exécutez une AWS CLI commande similaire à la suivante. L'exemple suivant montre une politique pour un espace de noms de cluster provisionné dans le compte us-east-1 Région AWS for user. 123456789012 Le bucket est nomméamzn-s3-demo-bucket.

aws redshift put-resource-policy \
--policy file://rs-rp.json \
--resource-arn "arn:aws:redshift: us-east-1:123456789012:namespace/cc4ffe56-ad2c-4fd1-a5a2-f29124a56433"

Où rs-rp.json contient :

{
	"Version": "2012-10-17",
	"Statement": [
		{
			"Effect": "Allow",
			"Principal": {
				"Service": "redshift.amazonaws.com"
			},
			"Action": "redshift:AuthorizeInboundIntegration",
			"Resource": "arn:aws:redshift:us-east-1:123456789012:namespace/cc4ffe56-ad2c-4fd1-a5a2-f29124a56433",
			"Condition": {
				"StringEquals": {
					"aws:SourceArn": "arn:aws:s3:::amzn-s3-demo-bucket"
				}
			}
		},
		{
			"Effect": "Allow",
			"Principal": {
				"AWS": "arn:aws:iam::123456789012:role/myRedshiftRole"
			},
			"Action": "redshift:CreateInboundIntegration",
			"Resource": "arn:aws:redshift:us-east-1:123456789012:namespace/cc4ffe56-ad2c-4fd1-a5a2-f29124a56433",
			"Condition": {
				"StringEquals": {
					"aws:SourceArn": "arn:aws:s3:::amzn-s3-demo-bucket"
				}
			}
		}
	]
}

Pour associer une politique de ressources à votre espace de noms Redshift Serverless pour l'intégration d'un événement S3 à un compartiment Amazon S3, exécutez une AWS CLI commande similaire à la suivante. L'exemple suivant montre une politique pour un espace de noms sans serveur dans le compte utilisateur us-east-1 Région AWS for. 123456789012 Le bucket est nomméamzn-s3-demo-bucket.

aws redshift put-resource-policy \
--policy file://rs-rp.json \
--resource-arn "arn:aws:redshift-serverless:us-east-1:123456789012:namespace/namespace-1"

Où rs-rp.json contient :

{
	"Version": "2012-10-17",
	"Statement": [
		{
			"Effect": "Allow",
			"Principal": {
				"Service": "redshift.amazonaws.com"
			},
			"Action": "redshift:AuthorizeInboundIntegration",
			"Resource": "arn:aws:redshift-serverless:us-east-1:123456789012:namespace/namespace-1",
			"Condition": {
				"StringEquals": {
					"aws:SourceArn": "arn:aws:s3:::amzn-s3-demo-bucket"
				}
			}
		},
		{
			"Effect": "Allow",
			"Principal": {
				"AWS": "arn:aws:iam::123456789012:user/myUser"
			},
			"Action": "redshift:CreateInboundIntegration",
			"Resource": "arn:aws:redshift-serverless:us-east-1:123456789012:namespace/namespace-1",
			"Condition": {
				"StringEquals": {
					"aws:SourceArn": "arn:aws:s3:::amzn-s3-demo-bucket"
				}
			}
		}
	]
}

SYS_COPY_JOB – contient une ligne pour chaque COPY JOB actuellement définie.

SYS_COPY_JOB_DETAIL— contient des informations sur les fichiers en attente, en erreur et ingérés pour chaque COPY JOB.

SYS_COPY_JOB_INFO— contient les messages enregistrés à propos d'un COPY JOB.

SYS_LOAD_HISTORY – contient des informations détaillées sur les commandes COPY.

SYS_LOAD_ERROR_DETAIL – contient des informations détaillées sur les erreurs de commande COPY.

SVV_COPY_JOB_INTEGRATIONS— contient des informations détaillées sur les intégrations d'événements S3.

STL_LOAD_ERRORS – contient des erreurs provenant des commandes COPY.

STL_LOAD_COMMITS – contient des informations permettant de résoudre les problèmes liés au chargement des données d’une commande COPY.

Vous pouvez créer un maximum de 200 TÂCHES DE COPIE pour chaque cluster ou groupe de travail d'un Compte AWS.

Vous pouvez créer un maximum de 50 intégrations d'événements S3 pour chaque cible Amazon Redshift.

Vous ne pouvez pas créer d'intégration d'événements S3 avec un compartiment Amazon S3 source dont le nom du compartiment comporte un point (.).

Vous ne pouvez créer qu'une seule intégration d'événements S3 entre la même source et la même cible. En d'autres termes, il ne peut y avoir qu'une seule intégration d'événements S3 entre un compartiment Amazon S3 et un entrepôt de données Amazon Redshift à la fois.

Vous ne pouvez pas avoir de notifications d'événement existantes pour le type S3_OBJECT_CREATED d'événement défini dans le compartiment Amazon S3 source. Cependant, une fois l'intégration d'un événement S3 créée, vous pouvez mettre à jour la notification d'événement du compartiment Amazon S3 avec un préfixe/suffixe de portée plus étroite. De cette façon, vous pouvez également configurer un autre préfixe/suffixe S3_OBJECT_CREATED pour d'autres cibles et éviter tout conflit avec l'intégration des événements S3. Si vous rencontrez des problèmes liés au fait que la copie automatique ne s'exécute pas comme prévu, préparez le AWS CloudTrail journal de l's3:PutBucketNotificationConfigurationaction sur votre compartiment S3 pour la période en question lorsque vous contactez AWS Support.