Daten aus Amazon S3 in einen Aurora SQL Postgre-DB-Cluster importieren

So installieren Sie die Erweiterung aws_s3

1. Verwenden Sie psql (oderpgAdmin), um als Benutzer mit Rechten eine Verbindung zur Writer-Instance Ihres Aurora SQL Postgre-DB-Clusters RDS herzustellen. rds_superuser Wenn Sie beim Einrichten den Standardnamen beibehalten haben, stellen Sie eine Verbindung als postgres her.

   psql --host=111122223333.aws-region.rds.amazonaws.com --port=5432 --username=postgres --password

2. Führen Sie den folgenden Befehl aus, um die Erweiterung zu installieren.

   postgres=> CREATE EXTENSION aws_s3 CASCADE;
   NOTICE: installing required extension "aws_commons"
   CREATE EXTENSION

3. Wenn Sie überprüfen möchten, ob die Erweiterung installiert wurde, können Sie psql-Metabefehl \dx verwenden.

   postgres=> \dx
          List of installed extensions
       Name     | Version |   Schema   |                 Description
   -------------+---------+------------+---------------------------------------------
    aws_commons | 1.2     | public     | Common data types across AWS services
    aws_s3      | 1.1     | public     | AWS S3 extension for importing data from S3
    plpgsql     | 1.0     | pg_catalog | PL/pgSQL procedural language
   (3 rows)

Sammeln Sie zunächst die Details, die Sie der Funktion zur Verfügung stellen müssen. Dazu gehören der Name der Tabelle auf der Instance Ihres Aurora SQL Postgre-DB-Clusters, sowie der Bucket-Name, der Dateipfad, der Dateityp und der AWS-Region Speicherort der Amazon S3 S3-Daten. Weitere Informationen finden Sie unter Kopieren von Objekten im Benutzerhandbuch zu Amazon Simple Storage Service.

1. Ermittelt den Namen der Tabelle, in die die aws_s3.table_import_from_s3-Funktion die Daten importieren soll. Mit dem folgenden Befehl wird beispielsweise eine Tabelle t1 erstellt, die in späteren Schritten verwendet werden kann.

   postgres=> CREATE TABLE t1 
       (col1 varchar(80), 
       col2 varchar(80), 
       col3 varchar(80));
   

2. Rufen Sie die Details zum Amazon-S3-Bucket und die zu importierenden Daten ab. Öffnen Sie dazu die Amazon S3 S3-Konsole unter https://console.aws.amazon.com/s3/und wählen Sie Buckets. Suchen Sie den Bucket, der Ihre Daten enthält, in der Liste. Wählen Sie den Bucket aus, öffnen Sie die Seite Objektübersicht und wählen Sie dann Properties (Eigenschaften).

   Notieren Sie sich den Namen, den Pfad AWS-Region, den und den Dateityp des Buckets. Sie benötigen später den Amazon-Ressourcennamen (ARN), um den Zugriff auf Amazon S3 über eine IAM Rolle einzurichten. Weitere Informationen finden Sie unter Einrichten des Zugriffs auf einen Amazon S3-Bucket. In der folgenden Abbildung sehen Sie ein Beispiel.

   

3. Sie können den Pfad zu den Daten im Amazon S3 S3-Bucket mit dem AWS CLI Befehl überprüfenaws s3 cp. Wenn die Informationen korrekt sind, lädt dieser Befehl eine Kopie der Amazon S3-Datei herunter.

   aws s3 cp s3://amzn-s3-demo-bucket/sample_file_path ./ 

4. Richten Sie Berechtigungen auf Ihrem Aurora SQL Postgre-DB-Cluster RDS ein, um den Zugriff auf die Datei im Amazon S3 S3-Bucket zu ermöglichen. Dazu verwenden Sie entweder eine AWS Identity and Access Management (IAM) -Rolle oder Sicherheitsanmeldedaten. Weitere Informationen finden Sie unter Einrichten des Zugriffs auf einen Amazon S3-Bucket.

5. Geben Sie den Pfad und andere gesammelte Amazon S3 S3-Objektdetails (siehe Schritt 2) an die create_s3_uri Funktion weiter, um ein Amazon S3 URI S3-Objekt zu erstellen. Weitere Informationen zu dieser Funktion finden Sie unter aws_commons.create_s3_uri. Es folgt ein Beispiel für die Erstellung dieses Objekts während einer psql-Sitzung.

   postgres=> SELECT aws_commons.create_s3_uri(
      'docs-lab-store-for-rpg',
      'versions_and_jdks_listing.csv',
      'us-west-1'
   ) AS s3_uri \gset

   Im nächsten Schritt übergeben Sie dieses Objekt (aws_commons._s3_uri_1) an die aws_s3.table_import_from_s3-Funktion, um die Daten in die Tabelle zu importieren.

6. Rufen Sie die aws_s3.table_import_from_s3-Funktion zum Importieren der Daten aus Amazon S3 in Ihre Tabelle auf. Referenz-Informationen finden Sie unter aws_s3.table_import_from_s3. Beispiele finden Sie unter Daten von Amazon S3 in Ihren Aurora SQL Postgre-DB-Cluster importieren.

Um einem Aurora SQL Postgre-DB-Cluster RDS über eine Rolle Zugriff auf Amazon S3 zu gewähren IAM

1. Erstellen Sie eine RichtlinieIAM.

   Diese Richtlinie stellt die Bucket- und Objektberechtigungen bereit, die Ihrem Aurora SQL Postgre-DB-Cluster RDS den Zugriff auf Amazon S3 ermöglichen.

   Nehmen Sie in die Richtlinie die folgenden erforderlichen Aktionen auf, um die Übertragung von Dateien von einem Amazon S3 S3-Bucket nach Aurora Postgre SQL zu ermöglichen:

   • s3:GetObject

   • s3:ListBucket

   Nehmen Sie die folgenden Ressourcen in die Richtlinie auf, um den Amazon S3-Bucket und Objekte im Bucket zu identifizieren. Dies zeigt das Format Amazon Resource Name (ARN) für den Zugriff auf Amazon S3.

   • arn:aws:s3:::amzn-s3-demo-bucket

   • arn:aws:s3:::amzn-s3-demo-bucket/*

   Weitere Informationen zum Erstellen einer IAM Richtlinie für Aurora Postgre SQL finden Sie SQL unter. Erstellen und Verwenden einer IAM-Richtlinie für den IAM-Datenbankzugriff Siehe auch Tutorial: Erstellen Sie Ihre erste vom Kunden verwaltete Richtlinie und fügen Sie sie als Anlage hinzu im IAMBenutzerhandbuch.

   Mit dem folgenden AWS CLI Befehl wird eine IAM Richtlinie rds-s3-import-policy mit diesen Optionen erstellt. Er gewährt Zugriff auf einen Bucket mit dem Namen amzn-s3-demo-bucket.

   Anmerkung

   Notieren Sie sich den Amazon-Ressourcennamen (ARN) der von diesem Befehl zurückgegebenen Richtlinie. Sie benötigen den ARN in einem nachfolgenden Schritt, wenn Sie die Richtlinie an eine IAM Rolle anhängen.

   Beispiel

   Für LinuxmacOS, oderUnix:

   aws iam create-policy \
      --policy-name rds-s3-import-policy \
      --policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "s3import",
            "Action": [
              "s3:GetObject",
              "s3:ListBucket"
            ],
            "Effect": "Allow",
            "Resource": [
              "arn:aws:s3:::amzn-s3-demo-bucket", 
              "arn:aws:s3:::amzn-s3-demo-bucket/*"
            ] 
          }
        ] 
      }'                     

   Windows:

   aws iam create-policy ^
      --policy-name rds-s3-import-policy ^
      --policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Sid": "s3import",
            "Action": [
              "s3:GetObject",
              "s3:ListBucket"
            ], 
            "Effect": "Allow",
            "Resource": [
              "arn:aws:s3:::amzn-s3-demo-bucket", 
              "arn:aws:s3:::amzn-s3-demo-bucket/*"
            ] 
          }
        ] 
      }'             

2. Erstellen Sie eine IAM Rolle.

   Sie tun dies, damit Aurora Postgre SQL diese IAM Rolle für den Zugriff auf Ihre Amazon S3 S3-Buckets übernehmen RDS kann. Weitere Informationen finden Sie im Benutzerhandbuch unter Erstellen einer Rolle zur Delegierung von Berechtigungen an einen IAM Benutzer. IAM

   Wir empfehlen die Verwendung der globalen Bedingungskontextschlüssel aws:SourceArn und aws:SourceAccount in ressourcenbasierten Richtlinien, um die Berechtigungen des Services auf eine bestimmte Ressource zu beschränken. Dies ist der effektivste Weg, um sich vor dem verwirrtes Stellvertreterproblem zu schützen.

   Wenn Sie sowohl globale Kontextschlüssel nutzen und der aws:SourceArn-Wert enthält die Konto-ID, muss der aws:SourceAccount-Wert und das Konto im aws:SourceArn-Wert die gleiche Konto-ID verwenden, wenn er in der gleichen Richtlinienanweisung verwendet wird.

   • Verwenden von aws:SourceArn wenn Sie einen serviceübergreifenden Zugriff für eine einzelne Ressource wünschen.

   • Verwenden von aws:SourceAccount wenn Sie zulassen möchten, dass eine Ressource in diesem Konto mit der betriebsübergreifenden Verwendung verknüpft wird.

   Achten Sie in der Richtlinie darauf, den aws:SourceArn globalen Bedingungskontextschlüssel mit ARN der gesamten Ressource zu verwenden. Das folgende Beispiel zeigt, wie Sie dazu den AWS CLI Befehl verwenden, um eine Rolle mit dem Namen zu erstellenrds-s3-import-role.

   Beispiel

   Für LinuxmacOS, oderUnix:

   aws iam create-role \
      --role-name rds-s3-import-role \
      --assume-role-policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Effect": "Allow",
            "Principal": {
               "Service": "rds.amazonaws.com"
             },
            "Action": "sts:AssumeRole",
            "Condition": {
                "StringEquals": {
                   "aws:SourceAccount": "111122223333",
                   "aws:SourceArn": "arn:aws:rds:us-east-1:111122223333:cluster:clustername"
                   }
                }
          }
        ] 
      }'

   Windows:

   aws iam create-role ^
      --role-name rds-s3-import-role ^
      --assume-role-policy-document '{
        "Version": "2012-10-17",
        "Statement": [
          {
            "Effect": "Allow",
            "Principal": {
               "Service": "rds.amazonaws.com"
             },
            "Action": "sts:AssumeRole",
            "Condition": {
                "StringEquals": {
                   "aws:SourceAccount": "111122223333",
                   "aws:SourceArn": "arn:aws:rds:us-east-1:111122223333:cluster:clustername"
                   }
                }
          }
        ] 
      }'

3. Hängen Sie die IAM Richtlinie, die Sie erstellt haben, an die IAM Rolle an, die Sie erstellt haben.

   Mit dem folgenden AWS CLI Befehl wird die im vorherigen Schritt erstellte Richtlinie der Rolle rds-s3-import-role Replace your-policy-arn mit der Richtlinie hinzugefügtARN, die Sie in einem früheren Schritt notiert haben.

   Beispiel

   Für LinuxmacOS, oderUnix:

   aws iam attach-role-policy \
      --policy-arn your-policy-arn \
      --role-name rds-s3-import-role                    

   Windows:

   aws iam attach-role-policy ^
      --policy-arn your-policy-arn ^
      --role-name rds-s3-import-role    

4. Fügen Sie die IAM Rolle der hinzu.

   Sie tun dies, indem Sie das AWS Management Console oder verwenden AWS CLI, wie im Folgenden beschrieben.

So importieren Sie eine Datei, die ein benutzerdefiniertes Trennzeichen verwendet:

1. Erstellen Sie eine Tabelle in der Datenbank für die importierten Daten.

   postgres=> CREATE TABLE test (a text, b text, c text, d text, e text);

2. Verwenden Sie die folgende Form der Funktion aws_s3.table_import_from_s3, um Daten aus der Amazon S3-Datei zu importieren.

   Zur Angabe der Datei können Sie auch den Funktionsaufruf aws_commons.create_s3_uri in den Funktionsaufruf aws_s3.table_import_from_s3 einbinden.

   postgres=> SELECT aws_s3.table_import_from_s3(
      'test',
      'a,b,d,e',
      'DELIMITER ''|''', 
      aws_commons.create_s3_uri('amzn-s3-demo-bucket', 'pipeDelimitedSampleFile', 'us-east-2')
   );