COPYvon Amazon S3

Die Quelle der Daten, die geladen werden sollen. Weitere Informationen zur Kodierung der Amazon-S3-Datei finden Sie unter Datenkonvertierungsparameter.

Gibt den Pfad zu den Amazon-S3-Objekten an, die die Daten enthalten, z. B. 's3://amzn-s3-demo-bucket/custdata.txt'. Der Parameter s3://copy_from_s3_objectpath kann eine einzelne Datei, einen Satz von Objekten oder Ordner mit denselben Schlüsselpräfixen referenzieren. Beispielsweise ist der Name custdata.txt ein Schlüsselpräfix, der sich auf eine Anzahl physischer Dateien bezieht: custdata.txt, custdata.txt.1, custdata.txt.2, custdata.txt.bak usw. Das Schlüsselpräfix kann auch eine Anzahl von Ordnern referenzieren. Beispielsweise bezieht sich 's3://amzn-s3-demo-bucket/custfolder' auf die Ordner custfolder, custfolder_1, custfolder_2 usw. Wenn ein Schlüsselpräfix mehrere Ordner referenziert, werden alle Dateien in den Ordnern geladen. Wenn ein key prefix sowohl mit einer Datei als auch mit einem Ordner übereinstimmt, COPY versucht z. B.custfolder.log, die Datei ebenfalls zu laden. Wenn ein key prefix dazu führen könnte, dass COPY versucht wird, unerwünschte Dateien zu laden, verwenden Sie eine Manifestdatei. Weitere Informationen finden Sie unter copy_from_s3_manifest_file.

Weitere Informationen finden Sie unter So laden Sie Daten aus Amazon S3.

Gibt den Amazon-S3-Objektschlüssel für eine Manifestdatei an, die die Datendateien auflistet, die geladen werden sollen. Das Argument 's3://copy_from_s3_manifest_file' muss explizit auf eine einzelne Datei verweisen, z. B. 's3://amzn-s3-demo-bucket/manifest.txt'. Es darf kein Schlüsselpräfix referenzieren.

Das Manifest ist eine Textdatei in einem JSON Format, das URL alle Dateien auflistet, die aus Amazon S3 geladen werden sollen. Das URL beinhaltet den Bucket-Namen und den vollständigen Objektpfad für die Datei. Die im Manifest angegebenen Dateien können sich in verschiedenen Buckets befinden, aber alle Buckets müssen sich in derselben AWS Region wie der Amazon Redshift Redshift-Cluster befinden. Wenn eine Datei zweimal aufgelistet wird, wird die Datei zweimal geladen. Das folgende Beispiel zeigt das JSON für ein Manifest, das drei Dateien lädt.

{
  "entries": [
    {"url":"s3://amzn-s3-demo-bucket1/custdata.1","mandatory":true},
    {"url":"s3://amzn-s3-demo-bucket1/custdata.2","mandatory":true},
    {"url":"s3://amzn-s3-demo-bucket2/custdata.1","mandatory":false}
  ]
}

Die doppelten Anführungszeichen sind erforderlich. Es muss sich um normale Anführungszeichen (0x22) handeln. Es dürfen keine schrägen oder „smarten“ Anführungszeichen sein. Jeder Eintrag im Manifest kann optional ein mandatory-Flag enthalten. Wenn auf gesetzt mandatory isttrue, wird COPY beendet, wenn die Datei für diesen Eintrag nicht gefunden wird. Andernfalls COPY wird der Vorgang fortgesetzt. Der Standardwert für den mandatory beträgt false.

Beim Laden aus Datendateien im ORC oder Parquet-Format ist ein meta Feld erforderlich, wie im folgenden Beispiel gezeigt.

{  
   "entries":[  
      {  
         "url":"s3://amzn-s3-demo-bucket1/orc/2013-10-04-custdata",
         "mandatory":true,
         "meta":{  
            "content_length":99
         }
      },
      {  
         "url":"s3://amzn-s3-demo-bucket2/orc/2013-10-05-custdata",
         "mandatory":true,
         "meta":{  
            "content_length":99
         }
      }
   ]
}

Die Manifestdatei darf nicht verschlüsselt oder komprimiert sein, auch wenn die ZSTD Optionen ENCRYPTED GZIPLZOP,BZIP2,, oder angegeben sind. COPYgibt einen Fehler zurück, wenn die angegebene Manifestdatei nicht gefunden wird oder die Manifestdatei nicht richtig formatiert ist.

Wenn eine Manifestdatei verwendet wird, muss der MANIFEST Parameter mit dem COPY Befehl angegeben werden. Wenn der MANIFEST Parameter nicht angegeben ist, COPY wird davon ausgegangen, dass es sich bei der mit angegebenen Datei um eine Datendatei FROM handelt.

Weitere Informationen finden Sie unter So laden Sie Daten aus Amazon S3.

Der COPY Befehl benötigt eine Autorisierung, um auf Daten in einer anderen AWS Ressource zuzugreifen, einschließlich in Amazon S3, AmazonEMR, Amazon DynamoDB und Amazon. EC2 Sie können diese Autorisierung erteilen, indem Sie auf eine Rolle AWS Identity and Access Management (IAM) verweisen, die Ihrem Cluster zugeordnet ist (rollenbasierte Zugriffskontrolle), oder indem Sie die Zugangsdaten für einen Benutzer angeben (schlüsselbasierte Zugriffskontrolle). Für mehr Sicherheit und Flexibilität empfehlen wir die Verwendung einer rollenbasierten Zugriffskontrolle. IAM Weitere Informationen finden Sie unter Autorisierungsparameter.

Gibt an, dass ein Manifest verwendet wird, um die Datendateien aufzulisten, die aus Amazon S3 geladen werden sollen. Wenn der MANIFEST Parameter verwendet wird, werden Daten aus den Dateien COPY geladen, die im Manifest aufgeführt sind, auf das von 's3://copy_from_s3_manifest_file' verwiesen wird. Wenn die Manifestdatei nicht gefunden wird oder nicht richtig formatiert ist, COPY schlägt sie fehl. Weitere Informationen finden Sie unter Verwenden eines Manifests für die Angabe von Datendateien.

Eine Klausel, die angibt, dass die Eingabedateien in Amazon S3 mittels clientseitiger Verschlüsselung mit vom Kunden verwalteten Schlüsseln verschlüsselt sind. Weitere Informationen finden Sie unter Laden verschlüsselter Datendateien aus Amazon S3. Geben Sie nicht an, ENCRYPTED ob die Eingabedateien mit der serverseitigen Amazon S3 S3-Verschlüsselung (SSE- KMS oder SSE -S3) verschlüsselt sind. COPYliest serverseitig verschlüsselte Dateien automatisch.

Wenn Sie den ENCRYPTED Parameter angeben, müssen Sie auch den MASTER_SYMMETRIC_KEY Parameter angeben oder den master_symmetric_key Wert in die CREDENTIALS Zeichenfolge aufnehmen.

Wenn die verschlüsselten Dateien in komprimiertem Format vorliegen, fügen Sie den ZSTD Parameter GZIP LZOPBZIP2,, oder hinzu.

Manifestdateien und JSONPaths Dateien dürfen nicht verschlüsselt werden, auch wenn die ENCRYPTED Option angegeben ist.

Der symmetrische Root-Schlüssel, der für die Verschlüsselung von Datendateien in Amazon S3 verwendet wurde. Wenn MASTER _ SYMMETRIC _ angegeben KEY ist, muss der ENCRYPTED Parameter ebenfalls angegeben werden. MASTER_ SYMMETRIC _ KEY kann nicht mit dem CREDENTIALS Parameter verwendet werden. Weitere Informationen finden Sie unter Laden verschlüsselter Datendateien aus Amazon S3.

Wenn die verschlüsselten Dateien im komprimierten Format vorliegen, fügen Sie den ZSTD Parameter GZIP LZOPBZIP2,, oder hinzu.

Gibt die AWS Region an, in der sich die Quelldaten befinden. REGIONist für COPY aus einem Amazon S3 S3-Bucket oder einer DynamoDB-Tabelle erforderlich, wenn sich die AWS Ressource, die die Daten enthält, nicht in derselben Region wie der Amazon Redshift Redshift-Cluster befindet.

Der Wert für aws_region muss einer Region entsprechen, die in der Tabelle Amazon-Redshift-Regionen und -Endpunkte aufgeführt ist.

Wenn der REGION Parameter angegeben ist, müssen sich alle Ressourcen, einschließlich einer Manifestdatei oder mehrerer Amazon S3 S3-Buckets, in der angegebenen Region befinden.

Geht standardmäßig COPY davon aus, dass sich die Daten in derselben Region wie der Amazon Redshift Redshift-Cluster befinden.