Per installare l'estensione aws_s3

1. Usa psql (orpgAdmin) per connetterti all'istanza writer del tuo RDS cluster Aurora Postgre DB per l'istanza SQL Postgre DB . rds_superuser Se hai mantenuto il nome predefinito durante il processo di configurazione, esegui la connessione come postgres.

   psql --host=111122223333.aws-region.rds.amazonaws.com --port=5432 --username=postgres --password

2. Per installare l'estensione, esegui il comando seguente.

   postgres=> CREATE EXTENSION aws_s3 CASCADE;
   NOTICE: installing required extension "aws_commons"
   CREATE EXTENSION

3. Per verificare che l'estensione sia installata, puoi usare il metacomando psql \dx.

   postgres=> \dx
          List of installed extensions
       Name     | Version |   Schema   |                 Description
   -------------+---------+------------+---------------------------------------------
    aws_commons | 1.2     | public     | Common data types across AWS services
    aws_s3      | 1.1     | public     | AWS S3 extension for importing data from S3
    plpgsql     | 1.0     | pg_catalog | PL/pgSQL procedural language
   (3 rows)

Raccogli innanzitutto i dettagli che devi fornire alla funzione. Questi includono il nome della tabella sull'istanza del cluster Aurora Postgre SQL DB, l'istanza RDS per Postgre SQL DB e il nome del il tipo di file e dove sono archiviati i dati di Regione AWS Amazon S3. Per ulteriori informazioni, consulta Visualizzazione di un oggetto nella Guida per l'utente di Servizio di archiviazione semplice Amazon.

1. Otteni il nome della tabella in cui la funzione aws_s3.table_import_from_s3 deve importare dati. Il seguente comando, ad esempio, crea una tabella t1 che può essere utilizzata in fasi successive.

   postgres=> CREATE TABLE t1 
       (col1 varchar(80), 
       col2 varchar(80), 
       col3 varchar(80));
   

2. Ottieni i dettagli relativi al bucket Amazon S3 e i dati da importare. A tale scopo, apri la console Amazon S3 all'indirizzo e scegli https://console.aws.amazon.com/s3/Bucket. Individua il bucket contenente i dati nell'elenco. Scegli il bucket, apri la pagina Object overview (Panoramica degli oggetti) e quindi scegli Properties (Proprietà).

   Prendi nota del nome, del percorso, del e del tipo di file del Regione AWS bucket. Avrai bisogno di Amazon Resource Name (ARN) in un secondo momento, per configurare l'accesso ad Amazon S3 tramite un IAM ruolo. Per ulteriori informazioni, consulta Configurazione dell'accesso a un bucket Amazon S3. Un esempio è illustrato nell'immagine seguente.

   

3. Puoi verificare il percorso dei dati nel bucket Amazon S3 utilizzando il comando. AWS CLI aws s3 cp Se le informazioni sono corrette, questo comando scarica una copia del file Amazon S3.

   aws s3 cp s3://amzn-s3-demo-bucket/sample_file_path ./ 

4. Configura le autorizzazioni sul tuo consentire l'accesso al file nel bucket Amazon S3. A tale scopo, puoi utilizzare un ruolo () o credenziali di sicurezza. AWS Identity and Access Management IAM Per ulteriori informazioni, consulta Configurazione dell'accesso a un bucket Amazon S3.

5. Fornisci il percorso e altri dettagli dell'oggetto Amazon S3 raccolti (vedi passaggio 2) alla create_s3_uri funzione per costruire un oggetto Amazon S3. URI Per ulteriori informazioni su questa funzione, consulta aws_commons.create_s3_uri. Di seguito è riportato un esempio di costruzione dell'oggetto durante una sessione psql.

   postgres=> SELECT aws_commons.create_s3_uri(
      'docs-lab-store-for-rpg',
      'versions_and_jdks_listing.csv',
      'us-west-1'
   ) AS s3_uri \gset

   Nella fase seguente, si passa questo oggetto (aws_commons._s3_uri_1) alla funzione aws_s3.table_import_from_s3 per importare i dati nella tabella.

6. Invoca la funzione aws_s3.table_import_from_s3 per importare dati da Amazon S3 nella tabella. Per informazioni di riferimento, consulta aws_s3.table_import_from_s3. Per alcuni esempi, consulta .

Fornire a un cluster Aurora Postgre SQL DB RDS per un'istanza Postgre DB SQL Amazon S3 tramite un ruolo IAM

1. Crea IAM una policy.

   Questa policy fornisce le autorizzazioni per bucket e oggetti che consentono al cluster Aurora Postgre DB RDS per l'istanza Postgre SQL DB .

   • s3:GetObject

   • s3:ListBucket

   Includere nella policy le seguenti risorse per identificare il bucket Amazon S3 e gli oggetti nel bucket. Questo mostra il formato Amazon Resource Name (ARN) per accedere ad Amazon S3.

   • arn:aws:s3:::amzn-s3-demo-bucket

   • arn:aws:s3:::amzn-s3-demo-bucket/*

   Per ulteriori informazioni sulla creazione di una IAM politica per Aurora Postgre SQL Postgre, vedere. SQL Creazione e utilizzo di una policy IAM per l'accesso al database IAM Vedi anche Tutorial: Crea e allega la tua prima politica gestita dai clienti nella Guida per l'utente. IAM

   Il AWS CLI comando seguente crea una IAM politica denominata rds-s3-import-policy con queste opzioni. Garantisce l'accesso a un bucket denominato amzn-s3-demo-bucket.

   Nota

   Prendi nota dell'Amazon Resource Name (ARN) della policy restituita da questo comando. Ti servirà ARN in un passaggio successivo quando associ la policy a un IAM ruolo.

   Esempio

   Per LinuxmacOS, oUnix:

   aws iam create-policy \
      --policy-name rds-s3-import-policy \
      --policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "s3import",
            "Action": [
              "s3:GetObject",
              "s3:ListBucket"
            ],
            "Effect": "Allow",
            "Resource": [
              "arn:aws:s3:::amzn-s3-demo-bucket", 
              "arn:aws:s3:::amzn-s3-demo-bucket/*"
            ] 
          }
        ] 
      }'                     

   Per Windows:

   aws iam create-policy ^
      --policy-name rds-s3-import-policy ^
      --policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "s3import",
            "Action": [
              "s3:GetObject",
              "s3:ListBucket"
            ], 
            "Effect": "Allow",
            "Resource": [
              "arn:aws:s3:::amzn-s3-demo-bucket", 
              "arn:aws:s3:::amzn-s3-demo-bucket/*"
            ] 
          }
        ] 
      }'             

2. Crea un IAM ruolo.

   Lo fai in modo che Aurora Postgre SQL RDS possa assumere IAM questo ruolo per accedere ai tuoi bucket Amazon S3. Per ulteriori informazioni, consulta Creazione di un ruolo per delegare le autorizzazioni a un utente nella Guida per l'utente. IAM IAM

   Si consiglia di utilizzare le chiavi di contesto delle condizioni globali aws:SourceArn e aws:SourceAccount nelle policy basate sulle risorse per limitare le autorizzazioni del servizio a una risorsa specifica. Questo è il modo più efficace per proteggersi dal problema di deputy confused.

   Se si utilizzano entrambe le chiavi di contesto delle condizioni globali e il valore aws:SourceArn contiene l'ID account, il valore aws:SourceAccount e l’account nel valore aws:SourceArn devono utilizzare lo stesso ID account quando viene utilizzato nella stessa dichiarazione di policy.

   • Utilizzare aws:SourceArn se si desidera un accesso cross-service per una singola risorsa.

   • Utilizzare aws:SourceAccount se si desidera consentire l'associazione di qualsiasi risorsa in tale account all'uso cross-service.

   Nella policy, assicurati di utilizzare la chiave di contesto della condizione aws:SourceArn globale con l'intera ARN risorsa. L'esempio seguente mostra come eseguire questa operazione utilizzando il AWS CLI comando per creare un ruolo denominatords-s3-import-role.

   Esempio

   Per LinuxmacOS, oUnix:

   aws iam create-role \
      --role-name rds-s3-import-role \
      --assume-role-policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Effect": "Allow",
            "Principal": {
               "Service": "rds.amazonaws.com"
             },
            "Action": "sts:AssumeRole",
            "Condition": {
                "StringEquals": {
                   "aws:SourceAccount": "111122223333",
                   "aws:SourceArn": "arn:aws:rds:us-east-1:111122223333:cluster:clustername"
                   }
                }
          }
        ] 
      }'

   Per Windows:

   aws iam create-role ^
      --role-name rds-s3-import-role ^
      --assume-role-policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Effect": "Allow",
            "Principal": {
               "Service": "rds.amazonaws.com"
             },
            "Action": "sts:AssumeRole",
            "Condition": {
                "StringEquals": {
                   "aws:SourceAccount": "111122223333",
                   "aws:SourceArn": "arn:aws:rds:us-east-1:111122223333:cluster:clustername"
                   }
                }
          }
        ] 
      }'

3. Allega la IAM policy che hai creato al IAM ruolo che hai creato.

   Il AWS CLI comando seguente associa la politica creata nel passaggio precedente al ruolo denominato rds-s3-import-role Replace your-policy-arn con la politica ARN annotato in un passaggio precedente.

   Esempio

   Per LinuxmacOS, oUnix:

   aws iam attach-role-policy \
      --policy-arn your-policy-arn \
      --role-name rds-s3-import-role                    

   Per Windows:

   aws iam attach-role-policy ^
      --policy-arn your-policy-arn ^
      --role-name rds-s3-import-role    

4. Aggiungere il IAM ruolo all' del cluster DB.

   A tale scopo, utilizzare AWS Management Console o AWS CLI, come descritto di seguito.

Per importare un file che utilizza un delimitatore personalizzato

1. Creare una tabella nel database per i dati importati.

   postgres=> CREATE TABLE test (a text, b text, c text, d text, e text);

2. Utilizzare il seguente formato della funzione aws_s3.table_import_from_s3 per importare i dati dal file Amazon S3.

   Si può includere la chiamata inline di funzione aws_commons.create_s3_uri all'interno della chiamata di funzione aws_s3.table_import_from_s3 per specificare il file.

   postgres=> SELECT aws_s3.table_import_from_s3(
      'test',
      'a,b,d,e',
      'DELIMITER ''|''', 
      aws_commons.create_s3_uri('amzn-s3-demo-bucket', 'pipeDelimitedSampleFile', 'us-east-2')
   );