Importation de données depuis Amazon S3 dans un pour une instance de base de données Postgre SQL

Pour installer l'extension aws_s3

1. Utilisez psql (oupgAdmin) pour vous connecter à l' pour SQL instance de base de données Postgre en tant qu'utilisateur disposant de privilèges. rds_superuser Si vous avez conservé le nom par défaut pendant le processus d'installation, vous vous connectez en tant que postgres.

   psql --host=111122223333.aws-region.rds.amazonaws.com --port=5432 --username=postgres --password

2. Pour installer l'extension, exécutez la commande suivante.

   postgres=> CREATE EXTENSION aws_s3 CASCADE;
   NOTICE: installing required extension "aws_commons"
   CREATE EXTENSION

3. Pour vérifier que l'extension est installée, vous pouvez utiliser la métacommande psql \dx.

   postgres=> \dx
          List of installed extensions
       Name     | Version |   Schema   |                 Description
   -------------+---------+------------+---------------------------------------------
    aws_commons | 1.2     | public     | Common data types across AWS services
    aws_s3      | 1.1     | public     | AWS S3 extension for importing data from S3
    plpgsql     | 1.0     | pg_catalog | PL/pgSQL procedural language
   (3 rows)

Pour importer des données S3 dans RDS

Tout d'abord, rassemblez les informations que vous devez fournir à la fonction. Il s'agit notamment du nom de la table sur l'instance de de SQL base de données Postgre, ainsi que du nom du compartiment, du chemin du fichier, du type de fichier et de l' Région AWS endroit où les données Amazon S3 sont stockées. Pour de plus amples informations, veuillez consulter View an object (Afficher un objet) dans le Guide de l'utilisateur Amazon Simple Storage Service.

1. Obtenez le nom de la table dans laquelle la fonction aws_s3.table_import_from_s3 doit importer les données. À titre d'exemple, la commande suivante crée une table t1 qui peut être utilisée dans les étapes suivantes.

   postgres=> CREATE TABLE t1 
       (col1 varchar(80), 
       col2 varchar(80), 
       col3 varchar(80));
   

2. Obtenez les détails sur le compartiment Amazon S3 et les données à importer. Pour ce faire, ouvrez la console Amazon S3 à l'adresse https://console.aws.amazon.com/s3/, puis choisissez Buckets. Trouvez le compartiment contenant vos données dans la liste. Sélectionnez le compartiment, ouvrez sa page Object overview (Présentation des objets), puis choisissez Properties (Propriétés).

   Notez le nom du compartiment, le chemin Région AWS, le et le type de fichier. Vous aurez besoin du nom de ressource Amazon (ARN) ultérieurement pour configurer l'accès à Amazon S3 via un IAM rôle. Pour obtenir plus d'informations, consultez Configuration de l'accès à un compartiment Amazon S3. L'image suivante montre un exemple.

   

3. Vous pouvez vérifier le chemin d'accès aux données du compartiment Amazon S3 à l'aide de la AWS CLI commandeaws s3 cp. Si les informations sont correctes, cette commande télécharge une copie du fichier Amazon S3.

   aws s3 cp s3://amzn-s3-demo-bucket/sample_file_path ./ 

4. Configurez des autorisations sur votre pour l'SQLinstance de base de données Postgre afin de permettre l'accès au fichier dans le compartiment Amazon S3. Pour ce faire, vous devez utiliser un rôle AWS Identity and Access Management (IAM) ou des informations d'identification de sécurité. Pour de plus amples informations, veuillez consulter Configuration de l'accès à un compartiment Amazon S3.

5. Fournissez le chemin et les autres détails de l'objet Amazon S3 collectés (voir étape 2) à la create_s3_uri fonction pour créer un URI objet Amazon S3. Pour en savoir plus sur cette fonction, consultez aws_commons.create_s3_uri. Voici un exemple de construction de cet objet pendant une session psql.

   postgres=> SELECT aws_commons.create_s3_uri(
      'docs-lab-store-for-rpg',
      'versions_and_jdks_listing.csv',
      'us-west-1'
   ) AS s3_uri \gset

   Dans l'étape suivante, vous transmettez cet objet (aws_commons._s3_uri_1) à la fonction aws_s3.table_import_from_s3 pour importer les données dans la table.

6. Appelez la fonction aws_s3.table_import_from_s3 pour importer les données d'Amazon S3 dans votre table. Pour obtenir des informations de référence, consultez aws_s3.table_import_from_s3. Pour obtenir des exemples, consultez Importation de données depuis Amazon S3 vers votre pour une instance de base de données Postgre SQL.

Pour donner à un pour une SQL instance de base de données Postgre l'accès à Amazon S3 via un rôle IAM

1. Créez une IAM politique.

   Cette politique fournit les autorisations de compartiment et d'objet qui permettent à votre pour l'SQLinstance de base de données Postgre d'accéder à Amazon S3.

   Incluez dans la politique les actions requises suivantes pour autoriser le transfert de fichiers d'un compartiment Amazon S3 vers Amazon RDS :

   • s3:GetObject

   • s3:ListBucket

   Incluez à la politique les ressources suivantes pour identifier le compartiment Amazon S3 et les objets qu'il contient. Cela indique le format Amazon Resource Name (ARN) pour accéder à Amazon S3.

   • arn:aws:s3 :amzn-s3-demo-bucket

   • arn:aws:s3 :amzn-s3-demo-bucket/*

   Pour plus d'informations sur la création d'une IAM politique pour pour PostgreSQL, consultez. Création et utilisation d'une politique IAM pour l'accès à une base de données IAM Consultez également le didacticiel : créez et joignez votre première politique gérée par le client dans le guide de IAM l'utilisateur.

   La AWS CLI commande suivante crée une IAM politique nommée rds-s3-import-policy avec ces options. Il donne accès à un bucket nommé amzn-s3-demo-bucket.

   Note

   Notez le nom de ressource Amazon (ARN) de la politique renvoyée par cette commande. Vous ARN en aurez besoin lors d'une étape ultérieure lorsque vous associez la politique à un IAM rôle.

   Exemple

   Pour LinuxmacOS, ou Unix :

   aws iam create-policy \
      --policy-name rds-s3-import-policy \
      --policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "s3import",
            "Action": [
              "s3:GetObject",
              "s3:ListBucket"
            ],
            "Effect": "Allow",
            "Resource": [
              "arn:aws:s3:::amzn-s3-demo-bucket", 
              "arn:aws:s3:::amzn-s3-demo-bucket/*"
            ] 
          }
        ] 
      }'                     

   Dans Windows :

   aws iam create-policy ^
      --policy-name rds-s3-import-policy ^
      --policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "s3import",
            "Action": [
              "s3:GetObject",
              "s3:ListBucket"
            ], 
            "Effect": "Allow",
            "Resource": [
              "arn:aws:s3:::amzn-s3-demo-bucket", 
              "arn:aws:s3:::amzn-s3-demo-bucket/*"
            ] 
          }
        ] 
      }'             

2. Créez un IAM rôle.

   Vous procédez ainsi pour qu' Amazon RDS puisse assumer ce IAM rôle et accéder à vos compartiments Amazon S3. Pour plus d'informations, consultez la section Création d'un rôle pour déléguer des autorisations à un IAM utilisateur dans le Guide de IAM l'utilisateur.

   Nous vous recommandons d'utiliser les clés de contexte de condition globale aws:SourceArn et aws:SourceAccount dans des politiques basées sur les ressources pour limiter les autorisations du service à une ressource spécifique. C'est le moyen le plus efficace de se protéger contre le problème du député confus.

   Si vous utilisez les deux clés de contexte de condition globale et que la valeur de aws:SourceArn contient l'ID de compte, la valeur de aws:SourceAccount et le compte indiqué dans la valeur de aws:SourceArn doivent utiliser le même ID de compte lorsqu'il est utilisé dans la même déclaration de politique.

   • Utilisez aws:SourceArn si vous souhaitez un accès interservices pour une seule ressource.

   • Utilisez aws:SourceAccount si vous souhaitez autoriser une ressource de ce compte à être associée à l'utilisation interservices.

   Dans la politique, veillez à utiliser la clé de contexte de condition aws:SourceArn globale avec l'intégralité ARN de la ressource. L'exemple suivant montre comment procéder à l'aide de la AWS CLI commande pour créer un rôle nommérds-s3-import-role.

   Exemple

   Pour LinuxmacOS, ou Unix :

   aws iam create-role \
      --role-name rds-s3-import-role \
      --assume-role-policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Effect": "Allow",
            "Principal": {
               "Service": "rds.amazonaws.com"
             },
            "Action": "sts:AssumeRole",
            "Condition": {
                "StringEquals": {
                   "aws:SourceAccount": "111122223333",
                   "aws:SourceArn": "arn:aws:rds:us-east-1:111122223333:db:dbname"
                   }
                }
          }
        ] 
      }'

   Dans Windows :

   aws iam create-role ^
      --role-name rds-s3-import-role ^
      --assume-role-policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Effect": "Allow",
            "Principal": {
               "Service": "rds.amazonaws.com"
             },
            "Action": "sts:AssumeRole",
            "Condition": {
                "StringEquals": {
                   "aws:SourceAccount": "111122223333",
                   "aws:SourceArn": "arn:aws:rds:us-east-1:111122223333:db:dbname"
                   }
                }
          }
        ] 
      }'

3. Attachez la IAM politique que vous avez créée au IAM rôle que vous avez créé.

   La AWS CLI commande suivante associe la politique créée à l'étape précédente au rôle nommé rds-s3-import-role Remplacer your-policy-arn par la politique ARN que vous avez notée à l'étape précédente.

   Exemple

   Pour LinuxmacOS, ou Unix :

   aws iam attach-role-policy \
      --policy-arn your-policy-arn \
      --role-name rds-s3-import-role                    

   Dans Windows :

   aws iam attach-role-policy ^
      --policy-arn your-policy-arn ^
      --role-name rds-s3-import-role    

4. Ajoutez le IAM rôle à l'instance de de base de données.

   Pour ce faire, utilisez le AWS Management Console ou AWS CLI, comme décrit ci-dessous.

Pour importer un fichier qui utilise un délimiteur personnalisé

1. Créez une table dans la base de données pour les données importées.

   postgres=> CREATE TABLE test (a text, b text, c text, d text, e text);

2. Utilisez le format suivant de la fonction aws_s3.table_import_from_s3 pour importer des données à partir du fichier Amazon S3.

   Vous pouvez inclure l'appel de fonction aws_commons.create_s3_uri en ligne au sein de l'appel de fonction aws_s3.table_import_from_s3 pour spécifier le fichier.

   postgres=> SELECT aws_s3.table_import_from_s3(
      'test',
      'a,b,d,e',
      'DELIMITER ''|''', 
      aws_commons.create_s3_uri('amzn-s3-demo-bucket', 'pipeDelimitedSampleFile', 'us-east-2')
   );