Prérequis Autorisations nécessaires Création d'ETLintégrations nulles Intégrations de chiffrement Étapes suivantes

Création d'ETLintégrations zéro avec Amazon RDS avec Amazon Redshift

Lorsque vous créez une ETL intégration zéro avec Amazon RDS , vous spécifiez le source et l'entrepôt de données Amazon Redshift cible. Vous pouvez également personnaliser les paramètres de chiffrement et ajouter des balises. Amazon RDS crée une intégration entre le de base de données source et sa cible. Une fois l'intégration active, toutes les données que vous insérez dans le de base de données source seront répliquées dans la cible Amazon Redshift configurée.

Rubriques

Prérequis
Autorisations nécessaires
Création d'ETLintégrations nulles
Chiffrer les intégrations à l'aide d'une clé gérée par le client
Étapes suivantes

Prérequis

Avant de créer une ETL intégration zéro, vous devez créer un de base de données source et un entrepôt de données Amazon Redshift cible. Vous devez également autoriser la réplication dans l'entrepôt de données en ajoutant le de base de données en tant que source d'intégration autorisée.

Pour obtenir des instructions sur la réalisation de chacune de ces étapes, consultez Démarrez avec Amazon RDS : zéro ETL intégration avec Amazon Redshift.

Autorisations nécessaires

Certaines IAM autorisations sont requises pour créer une ETL intégration zéro. Vous avez au moins besoin des autorisations requises pour effectuer les actions suivantes :

Créez zéro ETL intégration pour le de la base de données source.
Affichez et supprimez toutes les ETL intégrations zéro.
Créer des intégrations entrantes dans l'entrepôt de données cible. Vous n'avez pas besoin de cette autorisation si le même compte est propriétaire de l'entrepôt des données Amazon Redshift et que ce compte est un principal autorisé pour cet entrepôt des données. Pour obtenir des informations sur l'ajout de principaux autorisés, consultez Configuration de l'autorisation pour votre entrepôt de données Amazon Redshift.

L'exemple de politique suivant illustre les autorisations de moindre privilège requises pour créer et gérer des intégrations. Il se peut que vous n'ayez pas besoin de ces autorisations exactes si votre utilisateur ou votre rôle dispose d'autorisations plus étendues, telles qu'une politique AdministratorAccess gérée.

Note

Les noms de ressources Redshift Amazon (ARNs) ont le format suivant. Notez l'utilisation d'une barre oblique ((/) plutôt que de deux points (:) avant l'espace de noms sans serveur. UUID

Cluster provisionné – arn:aws:redshift:{region}:{account-id}:namespace:namespace-uuid
Sans serveur – arn:aws:redshift-serverless:{region}:{account-id}:namespace/namespace-uuid


{
    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Action": [
            "rds:CreateIntegration"
        ],
        "Resource": [
            "arn:aws:rds:{region}:{account-id}:db:source-db",
            "arn:aws:rds:{region}:{account-id}:integration:*"
        ]
    },
    {
        "Effect": "Allow",
        "Action": [
            "rds:DescribeIntegrations"
        ],
        "Resource": ["*"]
    },
    {
        "Effect": "Allow",
        "Action": [
            "rds:DeleteIntegration",
            "rds:ModifyIntegration"
        ],
        "Resource": [
            "arn:aws:rds:{region}:{account-id}:integration:*"
        ]
    },
    {
        "Effect": "Allow",
        "Action": [
            "redshift:CreateInboundIntegration"
        ],
        "Resource": [
            "arn:aws:redshift:{region}:{account-id}:namespace:namespace-uuid"
        ]
    }]
}

Choix d'un entrepôt de données cible dans un autre compte

Si vous prévoyez de spécifier un entrepôt de données Amazon Redshift cible situé dans un autre Compte AWS, vous devez créer un rôle permettant aux utilisateurs du compte courant d'accéder aux ressources du compte cible. Pour plus d'informations, voir Fournir un accès à un IAM utilisateur dans un autre Compte AWS que vous possédez.

Le rôle doit disposer des autorisations suivantes, qui permettent à l'utilisateur de consulter les clusters provisionnés Amazon Redshift et les espaces de noms Redshift sans serveur disponibles dans le compte cible.


{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Action":[
            "redshift:DescribeClusters",
            "redshift-serverless:ListNamespaces"
         ],
         "Resource":[
            "*"
         ]
      }
   ]
}

Le rôle doit respecter la politique d'approbation suivante, qui spécifie l'ID du compte cible.


{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Principal":{
            "AWS": "arn:aws:iam::{external-account-id}:root"
         },
         "Action":"sts:AssumeRole"
      }
   ]
}

Pour obtenir des instructions quant à la création du rôle, consultez Création d'un rôle à l'aide de politiques d'approbation personnalisées.

Création d'ETLintégrations nulles

Vous pouvez créer une ETL intégration zéro ou une intégration SQL aide du AWS Management Console, le AWS CLI, ou le RDSAPI.

Par défaut, RDS for My purge SQL immédiatement les fichiers journaux binaires. Étant donné que les ETL intégrations nulles reposent sur des journaux binaires pour répliquer les données de la source vers la cible, la période de conservation de la base de données source doit être d'au moins une heure. Dès que vous créez une intégration, Amazon RDS vérifie la période de conservation du fichier journal binaire pour la base de données source sélectionnée. Si la valeur actuelle est de 0 heure, Amazon la remplace RDS automatiquement par 1 heure. Sinon, la valeur reste la même.

Pour créer une ETL intégration zéro

Connectez-vous au AWS Management Console et ouvrez la RDS console Amazon à l'adresse https://console.aws.amazon.com/rds/.
Dans le volet de navigation de gauche, choisissez Zero- ETL integrations.
Choisissez Créer une ETL intégration zéro.
Dans Identifiant d'intégration, saisissez un nom pour l'intégration. Ce nom peut comporter jusqu'à 63 caractères alphanumériques et peut inclure des traits d'union.
Choisissez Suivant.
Pour Source, sélectionnez le d'où proviendront les données.

Note
vous RDS avertit si les paramètres du de base de données ne sont pas correctement configurés. Si vous recevez ce message, vous pouvez soit choisir Fix it for me, soit les configurer manuellement. Pour obtenir des instructions pour les corriger manuellement, reportez-vous à Étape 1 : Créer un groupe de paramètres de base de données personnalisé.
La modification des paramètres de base de données nécessite un redémarrage. Avant de créer l'intégration, le redémarrage doit être terminé et les nouvelles valeurs de paramètres doivent être correctement appliquées au de bases de données.
Une fois que le de base de données de votre base de données source est correctement configuré, choisissez Next.
Pour Cible, procédez comme suit :
1. (Facultatif) Pour utiliser un autre Compte AWS pour l'objectif Amazon Redshift, choisissez Spécifier un autre compte. Entrez ensuite un IAM rôle autorisé à afficher vos entrepôts de données. ARN Pour obtenir des instructions relatives à la création du IAM rôle, consultezChoix d'un entrepôt de données cible dans un autre compte.
2. Vous pouvez choisir un cluster Amazon Redshift provisionné ou un espace de noms Redshift sans serveur comme cible.
Note
RDSvous avertit si la politique de ressources ou les paramètres de distinction majuscules/minuscules pour l'entrepôt de données spécifié ne sont pas correctement configurés. Si vous recevez ce message, vous pouvez soit choisir Fix it for me, soit les configurer manuellement. Pour obtenir des instructions pour les corriger manuellement, consultez Activation de la sensibilité à la casse pour votre entrepôt des données et Configuration de l'autorisation pour votre entrepôt des données dans le Guide de gestion Amazon Redshift.
La modification de la sensibilité à la casse pour un cluster Redshift provisionné nécessite un redémarrage. Avant de créer l'intégration, le redémarrage doit être terminé et la nouvelle valeur de paramètre doit être correctement appliquée au cluster.
Si la source et la cible que vous avez sélectionnées sont différentes Comptes AWS, alors Amazon RDS ne peut pas corriger ces paramètres pour vous. Vous devez accéder à l'autre compte et les corriger manuellement dans Amazon Redshift.
Une fois que votre entrepôt des données cible est correctement configuré, choisissez Suivant.
(Facultatif) Pour Balises, ajoutez une ou plusieurs balises à l'intégration. Pour de plus amples informations, veuillez consulter Marquage d' Amazon RDS.
Pour Chiffrement, spécifiez la manière dont vous souhaitez que votre intégration soit chiffrée. Par défaut, RDS chiffre toutes les intégrations avec un Clé détenue par AWS. Pour choisir plutôt une clé gérée par le client, activez Personnaliser les paramètres de chiffrement et choisissez une KMS clé à utiliser pour le chiffrement. Pour de plus amples informations, veuillez consulter Chiffrement des ressources RDS.

Ajoutez éventuellement un contexte de chiffrement. Pour plus d'informations, consultez la section Contexte de chiffrement dans le AWS Key Management Service Guide du développeur.
Note
Amazon RDS ajoute les paires de contextes de chiffrement suivantes en plus de celles que vous ajoutez :
- aws:redshift:integration:arn - IntegrationArn
- aws:servicename:id - Redshift
Cela réduit le nombre total de paires que vous pouvez ajouter de 8 à 6 et contribue à la limite de caractères globale de la contrainte de subvention. Pour plus d'informations, consultez la section Utilisation des contraintes de subvention dans le AWS Key Management Service Guide du développeur.
Choisissez Suivant.
Vérifiez vos paramètres d'intégration et choisissez Create zero- ETL integration.

Si la création échoue, consultez Je ne peux pas créer une ETL intégration zéro pour obtenir les étapes de résolution des problèmes.

L'intégration a un statut de Creating lors de sa création et l'entrepôt de données Amazon Redshift cible a un statut de Modifying. Pendant ce temps, vous ne pouvez pas interroger l'entrepôt de données ni y apporter aucune modification de configuration.

Quand l'intégration est créée avec succès, le statut de l'intégration et celui de l'entrepôt de données Amazon Redshift cible passent tous deux à Active.

Pour créer une ETL intégration nulle à l'aide du AWS CLI, utilisez la commande create-integration avec les options suivantes :

--integration-name : spécifiez le nom de l'intégration.
--source-arn— Spécifiez le qui sera la source de l'intégration.
--target-arn— Spécifiez ARN l'entrepôt de données Amazon Redshift qui sera la cible de l'intégration.

Dans Linux, macOS, ou Unix:


aws rds create-integration \
    --integration-name my-integration \
    --source-arn arn:aws:rds:{region}:{account-id}:my-db \
    --target-arn arn:aws:redshift:{region}:{account-id}:namespace:namespace-uuid

Dans Windows:


aws rds create-integration ^
    --integration-name my-integration ^
    --source-arn arn:aws:rds:{region}:{account-id}:my-db ^
    --target-arn arn:aws:redshift:{region}:{account-id}:namespace:namespace-uuid

Pour créer une ETL intégration zéro à l'aide d'Amazon RDSAPI, utilisez l'CreateIntegrationopération avec les paramètres suivants :

IntegrationName : spécifiez le nom de l'intégration.
SourceArn— Spécifiez le qui sera la source de l'intégration.
TargetArn— Spécifiez ARN l'entrepôt de données Amazon Redshift qui sera la cible de l'intégration.

Chiffrer les intégrations à l'aide d'une clé gérée par le client

Si vous spécifiez une KMS clé personnalisée plutôt qu'une Clé détenue par AWS lorsque vous créez une intégration, la politique clé doit fournir au service Amazon Redshift l'accès principal à l'CreateGrantaction. En outre, il doit autoriser le compte ou le rôle du demandeur à exécuter les actions DescribeKey etCreateGrant.

Les exemples de déclarations de politique clés suivants illustrent les autorisations requises dans votre document de politique. Certains exemples incluent des clés contextuelles pour réduire davantage la portée des autorisations.

La déclaration de politique suivante permet au compte ou au rôle du demandeur de récupérer des informations sur une KMS clé.


{
   "Effect":"Allow",
   "Principal":{
      "AWS":"arn:aws:iam::{account-ID}:role/{role-name}"
   },
   "Action":"kms:DescribeKey",
   "Resource":"*"
}

La déclaration de politique suivante permet au compte ou au rôle du demandeur d'ajouter une subvention à une KMS clé. La clé de kms:ViaServicecondition limite l'utilisation de la KMS clé aux demandes d'AmazonRDS.


{
   "Effect":"Allow",
   "Principal":{
      "AWS":"arn:aws:iam::{account-ID}:role/{role-name}"
   },
   "Action":"kms:CreateGrant",
   "Resource":"*",
   "Condition":{
      "StringEquals":{
         "kms:EncryptionContext:{context-key}":"{context-value}",
         "kms:ViaService":"rds.{region}.amazonaws.com"
      },
      "ForAllValues:StringEquals":{
         "kms:GrantOperations":[
            "Decrypt",
            "GenerateDataKey",
            "CreateGrant"
         ]
      }
   }
}

La déclaration de politique suivante autorise le directeur du service Amazon Redshift à ajouter une autorisation à une KMS clé.


{
   "Effect":"Allow",
   "Principal":{
      "Service":"redshift.amazonaws.com"
   },
   "Action":"kms:CreateGrant",
   "Resource":"*",
   "Condition":{
      "StringEquals":{
         "kms:EncryptionContext:{context-key}":"{context-value}",
         "aws:SourceAccount":"{account-ID}"
      },
      "ForAllValues:StringEquals":{
         "kms:GrantOperations":[
            "Decrypt",
            "GenerateDataKey",
            "CreateGrant"
         ]
      },
      "ArnLike":{
         "aws:SourceArn":"arn:aws:*:{region}:{account-ID}:integration:*"
      }
   }
}

Pour plus d'informations, consultez la section Création d'une politique clé dans le AWS Key Management Service Guide du développeur.

Étapes suivantes

Une fois que vous avez réussi à créer une ETL intégration zéro, vous devez créer une base de données de destination au sein de votre cluster ou groupe de travail Amazon Redshift cible. Vous pouvez ensuite commencer à ajouter des données au et à les interroger dans Amazon Redshift. Pour obtenir des instructions, consultez Création de bases de données de destination dans Amazon Redshift.

Avertissement JavaScript est désactivé ou n'est pas disponible dans votre navigateur.

Pour que vous puissiez utiliser la documentation AWS, Javascript doit être activé. Vous trouverez des instructions sur les pages d'aide de votre navigateur.

Conventions de rédaction

Commencer avec des ETL intégrations nulles

Filtrage des données pour zéro ETL intégration