Intégration Amazon S3

Vous pouvez transférer des fichiers entre votre instance de base de données RDS pour Oracle et un compartiment Amazon S3. Vous pouvez utiliser l'intégration Amazon S3 avec les fonctionnalités Oracle Database telles que Oracle Data Pump. Par exemple, vous pouvez télécharger des fichiers Data Pump depuis Amazon S3 vers votre instance RDS de base de données Oracle. Pour de plus amples informations, veuillez consulter Importation de données dans Oracle sur Amazon RDS.

Configuration IAM des autorisations RDS pour l'intégration d'Oracle à Amazon S3

RDSPour qu'Oracle puisse s'intégrer à Amazon S3, votre instance de base de données doit avoir accès à un compartiment Amazon S3. L'Amazon VPC utilisé par votre instance de base de données n'a pas besoin de fournir un accès aux points de terminaison Amazon S3.

RDScar Oracle prend en charge le transfert de fichiers entre une instance de base de données d'un compte et un compartiment Amazon S3 d'un autre compte. Lorsque des étapes supplémentaires sont requises, elles sont indiquées dans les sections suivantes.

Étape 1 : créer une IAM politique pour votre RDS rôle Amazon

Au cours de cette étape, vous créez une politique AWS Identity and Access Management (IAM) avec les autorisations requises pour transférer des fichiers entre votre compartiment Amazon S3 et votre RDS instance de base de données. Cette étape suppose également que vous avez déjà créé un compartiment S3.

Avant de créer la politique, notez les informations suivantes :

Pour plus d'informations, consultez la section Protection des données à l'aide du chiffrement côté serveur dans le Guide de l'utilisateur Amazon Simple Storage Service.

aws iam create-policy \
   --policy-name rds-s3-integration-policy \
   --policy-document '{
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "s3integration",
         "Action": [
           "s3:GetObject",
           "s3:ListBucket",
           "s3:PutObject"
         ],
         "Effect": "Allow",
         "Resource": [
           "arn:aws:s3:::amzn-s3-demo-bucket", 
           "arn:aws:s3:::amzn-s3-demo-bucket/*"
         ]
       }
     ]
   }'                    

aws iam create-policy \
   --policy-name rds-s3-integration-policy \
   --policy-document '{
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "s3integration",
         "Action": [
           "s3:GetObject",
           "s3:ListBucket",
           "s3:PutObject",
           "kms:Decrypt",
           "kms:Encrypt",
           "kms:ReEncrypt*",
           "kms:GenerateDataKey",
           "kms:DescribeKey",
         ],
         "Effect": "Allow",
         "Resource": [
           "arn:aws:s3:::amzn-s3-demo-bucket", 
           "arn:aws:s3:::amzn-s3-demo-bucket/*",
           "arn:aws:kms:::your-kms-arn"
         ]
       }
     ]
   }'

aws iam create-policy ^
   --policy-name rds-s3-integration-policy ^
   --policy-document '{
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "s3integration",
         "Action": [
           "s3:GetObject",
           "s3:ListBucket",
           "s3:PutObject"
         ],
         "Effect": "Allow",
         "Resource": [
           "arn:aws:s3:::amzn-s3-demo-bucket", 
           "arn:aws:s3:::amzn-s3-demo-bucket/*"
         ]
       }
     ]
   }'

aws iam create-policy ^
   --policy-name rds-s3-integration-policy ^
   --policy-document '{
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "s3integration",
         "Action": [
           "s3:GetObject",
           "s3:ListBucket",
           "s3:PutObject",
           "kms:Decrypt",
           "kms:Encrypt",
           "kms:ReEncrypt",
           "kms:GenerateDataKey",
           "kms:DescribeKey",
         ],
         "Effect": "Allow",
         "Resource": [
           "arn:aws:s3:::amzn-s3-demo-bucket", 
           "arn:aws:s3:::amzn-s3-demo-bucket/*",
           "arn:aws:kms:::your-kms-arn"
         ]
       }
     ]
   }'

Étape 2 : (Facultatif) Créez une IAM politique pour votre compartiment Amazon S3

Cette étape n'est nécessaire que dans les conditions suivantes :

Si les conditions précédentes ne s'appliquent pas à votre cas, passez à Étape 3 : Créez un IAM rôle pour votre instance de base de données et associez votre politique.

Pour créer votre politique de compartiment, assurez-vous de disposer des éléments suivants :

Étape 3 : Créez un IAM rôle pour votre instance de base de données et associez votre politique

Cette étape suppose que vous avez créé la IAM politique dansÉtape 1 : créer une IAM politique pour votre RDS rôle Amazon. Au cours de cette étape, vous créez un rôle RDS pour votre instance de base de données for Oracle, puis vous associez votre politique au rôle.

Étape 4 : Associez votre IAM rôle à votre instance de base de données RDS pour Oracle

La dernière étape de configuration des autorisations pour l'intégration d'Amazon S3 consiste à associer votre IAM rôle à votre instance de base de données. Notez les critères suivants :

aws rds add-role-to-db-instance \
   --db-instance-identifier mydbinstance \
   --feature-name S3_INTEGRATION \
   --role-arn your-role-arn                    

aws rds add-role-to-db-instance ^
   --db-instance-identifier mydbinstance ^
   --feature-name S3_INTEGRATION ^
   --role-arn your-role-arn

Ajout de l'option d'intégration Amazon S3

Pour intégrer Amazon RDS for Oracle à Amazon S3, votre instance de base de données doit être associée à un groupe d'options qui inclut l'S3_INTEGRATIONoption.

Transfert de fichiers entre Amazon RDS pour Oracle et un compartiment Amazon S3

Pour transférer des fichiers entre une instance de base de données RDS pour Oracle et un compartiment Amazon S3, vous pouvez utiliser le RDS package Amazonrdsadmin_s3_tasks. Vous pouvez compresser des fichiers GZIP lors de leur téléchargement et les décompresser lors du téléchargement.

Exigences et limites relatives aux transferts de fichiers

Avant de transférer des fichiers entre votre instance de base de données et un compartiment Amazon S3, notez ce qui suit :

Téléchargement de fichiers depuis votre instance de base de données RDS pour Oracle vers un compartiment Amazon S3

Pour charger les fichiers de votre instance de base de données vers un compartiment Amazon S3, utilisez la procédure rdsadmin.rdsadmin_s3_tasks.upload_to_s3. Par exemple, vous pouvez télécharger des fichiers de sauvegarde Oracle Recovery Manager (RMAN) ou des fichiers Oracle Data Pump. Pour plus d'informations sur l'utilisation des objets, consultez le Guide de l'utilisateur Amazon Simple Storage Service. Pour plus d'informations sur l'exécution de RMAN sauvegardes, consultezExécution des tâches RMAN courantes pour les instances de base de données Oracle.

La procédure rdsadmin.rdsadmin_s3_tasks.upload_to_s3 possède les paramètres suivants.

La valeur renvoyée pour la procédure rdsadmin.rdsadmin_s3_tasks.upload_to_s3 est un ID de tâche.

L'exemple suivant télécharge tous les fichiers du DATA_PUMP_DIR répertoire dans le compartiment Amazon S3 nommé amzn-s3-demo-bucket. Les fichiers ne sont pas compressés.

SELECT rdsadmin.rdsadmin_s3_tasks.upload_to_s3(
      p_bucket_name    =>  'amzn-s3-demo-bucket',
      p_prefix         =>  '', 
      p_s3_prefix      =>  '', 
      p_directory_name =>  'DATA_PUMP_DIR') 
   AS TASK_ID FROM DUAL;

L'exemple suivant télécharge tous les fichiers ayant le préfixe db dans le répertoireDATA_PUMP_DIR du compartiment Amazon S3 nommé amzn-s3-demo-bucket. Amazon RDS applique le plus haut niveau de GZIP compression aux fichiers.

SELECT rdsadmin.rdsadmin_s3_tasks.upload_to_s3(
      p_bucket_name       =>  'amzn-s3-demo-bucket', 
      p_prefix            =>  'db', 
      p_s3_prefix         =>  '', 
      p_directory_name    =>  'DATA_PUMP_DIR',
      p_compression_level =>  9) 
   AS TASK_ID FROM DUAL;

L'exemple suivant télécharge tous les fichiers d'un répertoire DATA_PUMP_DIR dans le compartiment Amazon S3 nommé amzn-s3-demo-bucket. Les fichiers sont chargés dans un dossier dbfiles. Dans cet exemple, le niveau GZIP de compression est 1, qui est le niveau de compression le plus rapide.

SELECT rdsadmin.rdsadmin_s3_tasks.upload_to_s3(
      p_bucket_name       =>  'amzn-s3-demo-bucket', 
      p_prefix            =>  '', 
      p_s3_prefix         =>  'dbfiles/', 
      p_directory_name    =>  'DATA_PUMP_DIR',
      p_compression_level =>  1) 
   AS TASK_ID FROM DUAL;        

L'exemple suivant télécharge tous les fichiers d'un répertoire DATA_PUMP_DIR dans le compartiment Amazon S3 nommé amzn-s3-demo-bucket. Les fichiers sont chargés dans un dossier dbfiles et ora est ajouté au début de chaque nom de fichier. Aucune compression n'est appliquée.

SELECT rdsadmin.rdsadmin_s3_tasks.upload_to_s3(
      p_bucket_name    =>  'amzn-s3-demo-bucket', 
      p_prefix         =>  '', 
      p_s3_prefix      =>  'dbfiles/ora', 
      p_directory_name =>  'DATA_PUMP_DIR') 
   AS TASK_ID FROM DUAL;

L'exemple suivant suppose que la commande est exécutée dans le compte A, mais le compte B exige un contrôle total du contenu du compartiment. La commande rdsadmin_s3_tasks.upload_to_s3 transfère tous les fichiers dans le répertoire DATA_PUMP_DIR du compartiment nommé s3bucketOwnedByAccountB. Le contrôle d'accès est défini sur FULL_CONTROL afin que le compte B puisse accéder aux fichiers du compartiment. Le niveau GZIP de compression est 6, qui équilibre la vitesse et la taille du fichier.

SELECT rdsadmin.rdsadmin_s3_tasks.upload_to_s3(
      p_bucket_name               =>  's3bucketOwnedByAccountB', 
      p_prefix                    =>  '', 
      p_s3_prefix                 =>  '', 
      p_directory_name            =>  'DATA_PUMP_DIR',
      p_bucket_owner_full_control =>  'FULL_CONTROL',
      p_compression_level         =>  6) 
   AS TASK_ID FROM DUAL;

Dans chaque exemple, l'instruction SELECT renvoie l'ID de la tâche dans un type de données VARCHAR2.

Vous pouvez afficher le résultat en affichant le fichier de sortie de la tâche.

SELECT text FROM table(rdsadmin.rds_file_util.read_text_file('BDUMP','dbtask-task-id.log'));

Remplacez identifiant de tâche avec l'ID de tâche renvoyé par la procédure.

Téléchargement des fichiers d'un compartiment Amazon S3 vers une instance de base de données Oracle

Pour télécharger des fichiers depuis un compartiment Amazon S3 vers une instance RDS pour Oracle, utilisez la RDS procédure Amazonrdsadmin.rdsadmin_s3_tasks.download_from_s3.

La procédure download_from_s3 possède les paramètres suivants.

La valeur renvoyée pour la procédure rdsadmin.rdsadmin_s3_tasks.download_from_s3 est un ID de tâche.

L'exemple suivant télécharge tous les fichiers du compartiment Amazon S3 nommé amzn-s3-demo-bucket vers le répertoire DATA_PUMP_DIR. Les fichiers n'étant pas compressés, aucune décompression n'est appliquée.

SELECT rdsadmin.rdsadmin_s3_tasks.download_from_s3(
      p_bucket_name    =>  'amzn-s3-demo-bucket',
      p_directory_name =>  'DATA_PUMP_DIR') 
   AS TASK_ID FROM DUAL;

L'exemple suivant télécharge tous les fichiers ayant le préfixe db dans le compartiment Amazon S3 nommé amzn-s3-demo-bucket du répertoire DATA_PUMP_DIR. Les fichiers sont compressés avecGZIP, donc la décompression est appliquée. Le paramètre p_error_on_zero_downloads active la vérification des erreurs de préfixe. Ainsi, si le préfixe ne correspond à aucun fichier du compartiment, la tâche lève une exception et échoue.

SELECT rdsadmin.rdsadmin_s3_tasks.download_from_s3(
      p_bucket_name               =>  'amzn-s3-demo-bucket', 
      p_s3_prefix                 =>  'db', 
      p_directory_name            =>  'DATA_PUMP_DIR',
      p_decompression_format      =>  'GZIP',
      p_error_on_zero_downloads   =>  'TRUE') 
   AS TASK_ID FROM DUAL;

L'exemple suivant télécharge tous les fichiers du dossier myfolder/ du compartiment Amazon S3 nommé amzn-s3-demo-bucket vers le répertoire DATA_PUMP_DIR. Utilisez le paramètre p_s3_prefix pour spécifier le dossier Amazon S3. Les fichiers téléchargés sont compressés avecGZIP, mais ne sont pas décompressés pendant le téléchargement.

SELECT rdsadmin.rdsadmin_s3_tasks.download_from_s3(
      p_bucket_name          =>  'amzn-s3-demo-bucket', 
      p_s3_prefix            =>  'myfolder/', 
      p_directory_name       =>  'DATA_PUMP_DIR',
      p_decompression_format =>  'NONE')
   AS TASK_ID FROM DUAL;

L'exemple suivant télécharge le fichier mydumpfile.dmp du compartiment Amazon S3 nommé amzn-s3-demo-bucket dans le répertoire DATA_PUMP_DIR. Aucune décompression n'est appliquée.

SELECT rdsadmin.rdsadmin_s3_tasks.download_from_s3(
      p_bucket_name    =>  'amzn-s3-demo-bucket', 
      p_s3_prefix      =>  'mydumpfile.dmp', 
      p_directory_name =>  'DATA_PUMP_DIR') 
   AS TASK_ID FROM DUAL;

Dans chaque exemple, l'instruction SELECT renvoie l'ID de la tâche dans un type de données VARCHAR2.

Vous pouvez afficher le résultat en affichant le fichier de sortie de la tâche.

SELECT text FROM table(rdsadmin.rds_file_util.read_text_file('BDUMP','dbtask-task-id.log'));

Remplacez identifiant de tâche avec l'ID de tâche renvoyé par la procédure.

Surveillance du statut d'un transfert de fichiers

Les tâches de transfert de fichiers publient les RDS événements Amazon au début et à la fin. Le message d'événement contient l'ID de tâche pour le transfert de fichiers. Pour de plus amples informations sur l'affichage des événements, veuillez consulter Consulter les RDS événements Amazon.

Vous pouvez consulter le statut d'une tâche en cours dans un fichier bdump. Les fichiers bdump se trouvent dans le répertoire /rdsdbdata/log/trace. Chaque nom de fichier bdump a le format suivant.

dbtask-task-id.log

Remplacez task-id par l'ID de la tâche que vous souhaitez surveiller.

Vous pouvez utiliser la procédure stockée rdsadmin.rds_file_util.read_text_file pour afficher le contenu des fichiers bdump. Par exemple, la requête suivante renvoie le contenu du fichier bdump dbtask-1234567890123-1234.log.

SELECT text FROM table(rdsadmin.rds_file_util.read_text_file('BDUMP','dbtask-1234567890123-1234.log'));

L'exemple suivant montre le fichier journal correspondant à un transfert ayant échoué.

TASK_ID                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1234567890123-1234


TEXT                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
2023-04-17 18:21:33.993 UTC [INFO ] File #1: Uploading the file /rdsdbdata/datapump/A123B4CDEF567890G1234567890H1234/sample.dmp to Amazon S3 with bucket name amzn-s3-demo-bucket and key sample.dmp.
2023-04-17 18:21:34.188 UTC [ERROR] RDS doesn't have permission to write to Amazon S3 bucket name amzn-s3-demo-bucket and key sample.dmp.
2023-04-17 18:21:34.189 UTC [INFO ] The task failed.

Résolution des problèmes d'intégration avec Amazon S3

Pour obtenir des conseils de résolution des problèmes, consultez l'article AWS Re:Post Comment résoudre les problèmes liés à l'intégration d'Amazon RDS pour Oracle à Amazon S3 ? .

Suppression de l'option d'intégration Amazon S3

Vous pouvez supprimer l'option d'intégration Amazon S3 d'une instance de base de données.

Pour supprimer l'option d'intégration Amazon S3 d'une instance de base de données, effectuez l'une des actions suivantes :