Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Daten aus Textdateien in einem Amazon S3-Bucket in einen Amazon Aurora My SQL DB-Cluster laden

Sie können den Ausdruck LOAD DATA FROM S3 oder LOAD XML FROM S3 verwenden, um Daten aus Dateien zu laden, die in einem Amazon S3-Bucket gespeichert sind. In Aurora My SQL werden die Dateien zuerst auf der lokalen Festplatte gespeichert und dann in die Datenbank importiert. Nachdem die Importe in die Datenbank abgeschlossen sind, werden die lokalen Dateien gelöscht.

Gewähren von Zugriff auf Amazon S3 für Aurora

Bevor Sie Daten aus einem Amazon S3-Bucket laden können, müssen Sie Ihrem Aurora My SQL DB-Cluster zunächst die Erlaubnis erteilen, auf Amazon S3 zuzugreifen.

Erteilen von Rechten zum Laden von Daten in Amazon Aurora My SQL

Der Datenbankbenutzer, der die LOAD DATA FROM S3- oder LOAD XML FROM S3-Anweisung ausgibt, muss über eine bestimmte Rolle oder Berechtigung verfügen, um eine der Anweisungen auszugeben. In Aurora My SQL Version 3 gewähren Sie die AWS_LOAD_S3_ACCESS Rolle. In Aurora My SQL Version 2 gewähren Sie das LOAD FROM S3 Privileg. Dem Administratorbenutzer für ein DB-Cluster wird die entsprechende Rolle oder -Berechtigung standardmäßig gewährt. Sie können die Berechtigung einem anderen Benutzer erteilen, indem Sie eine der folgenden Anweisungen verwenden.

Verwenden Sie die folgende Anweisung für Aurora My SQL Version 3:

GRANT AWS_LOAD_S3_ACCESS TO 'user'@'domain-or-ip-address'

Verwenden Sie die folgende Anweisung für Aurora My SQL Version 2:

GRANT LOAD FROM S3 ON *.* TO 'user'@'domain-or-ip-address'

Die AWS_LOAD_S3_ACCESS Rolle und die LOAD FROM S3 Berechtigung sind spezifisch für Amazon Aurora und nicht für externe My SQL Databases oder RDS für My SQL DB-Instances verfügbar. Wenn Sie die Replikation zwischen einem Aurora-DB-Cluster als Replikationsquelle und My SQL database als Replikationsclient eingerichtet haben, führt die GRANT Anweisung für die Rolle oder das Privileg dazu, dass die Replikation mit einem Fehler beendet wird. Sie können diese Fehlermeldung ignorieren und mit der Replikation fortfahren. Verwenden Sie die Prozedur mysql_rds_skip_repl_error, um den Fehler bei einer RDS for My SQL Instance zu überspringen. Um den Fehler in einer externen My SQL database zu überspringen, verwenden Sie die Systemvariable slave_skip_errors (Aurora My SQL Version 2) oder die Systemvariable replica_skip_errors (Aurora My Version 3). SQL

Den Pfad (URI) zu einem Amazon S3 S3-Bucket angeben

Die Syntax für die Angabe des Pfads (URI) zu Dateien, die in einem Amazon S3 S3-Bucket gespeichert sind, lautet wie folgt.

s3-region://amzn-s3-demo-bucket/file-name-or-prefix

Der Pfad enthält die folgenden Werte:

LOADDATAFROMS3

Sie können die LOAD DATA FROM S3 Anweisung verwenden, um Daten aus jedem Textdateiformat zu laden, das von der SQL LOADDATAINFILEMy-Anweisung unterstützt wird, z. B. Textdaten, die durch Kommas getrennt sind. Komprimierte Dateien werden nicht unterstützt.

Syntax

LOAD DATA [FROM] S3 [FILE | PREFIX | MANIFEST] 'S3-URI'
    [REPLACE | IGNORE]
    INTO TABLE tbl_name
    [PARTITION (partition_name,...)]
    [CHARACTER SET charset_name]
    [{FIELDS | COLUMNS}
        [TERMINATED BY 'string']
        [[OPTIONALLY] ENCLOSED BY 'char']
        [ESCAPED BY 'char']
    ]
    [LINES
        [STARTING BY 'string']
        [TERMINATED BY 'string']
    ]
    [IGNORE number {LINES | ROWS}]
    [(col_name_or_user_var,...)]
    [SET col_name = expr,...]

Parameter

Die Anweisung LOAD DATA FROM S3 verwendet die folgenden erforderlichen und optionalen Parameter. Weitere Informationen zu einigen dieser Parameter finden Sie unter LOADDATAStatement in der SQL Dokumentation My.

Sie können nicht das Schlüsselwort LOCAL der Anweisung LOAD DATA FROM S3 verwenden, wenn Sie Daten aus einem Amazon-S3-Bucket laden.

Verwenden eines Manifests für zu ladende Dateien

Sie können die LOAD DATA FROM S3 Anweisung mit dem MANIFEST Schlüsselwort verwenden, um eine Manifestdatei in einem JSON Format anzugeben, das die Textdateien auflistet, die in eine Tabelle in Ihrem DB-Cluster geladen werden sollen.

Das folgende JSON Schema beschreibt das Format und den Inhalt einer Manifestdatei.

{
    "$schema": "http://json-schema.org/draft-04/schema#",
    "additionalProperties": false,
    "definitions": {},
    "id": "Aurora_LoadFromS3_Manifest",
    "properties": {
        "entries": {
            "additionalItems": false,
            "id": "/properties/entries",
            "items": {
                "additionalProperties": false,
                "id": "/properties/entries/items",
                "properties": {
                    "mandatory": {
                        "default": "false",
                        "id": "/properties/entries/items/properties/mandatory",
                        "type": "boolean"
                    },
                    "url": {
                        "id": "/properties/entries/items/properties/url",
                        "maxLength": 1024,
                        "minLength": 1,
                        "type": "string"
                    }
                },
                "required": [
                    "url"
                ],
                "type": "object"
            },
            "type": "array",
            "uniqueItems": true
        }
    },
    "required": [
        "entries"
    ],
    "type": "object"
}

urlIn jedem Manifest muss ein Name URL mit dem Bucket-Namen und dem vollständigen Objektpfad für die Datei angegeben werden, nicht nur ein Präfix. Sie können ein Manifest verwenden, um Dateien aus verschiedenen Buckets, verschiedenen Regionen oder mit unterschiedlichen Präfixen zu laden. Wenn in der keine Region angegeben istURL, wird die Region des Aurora-DB-Ziel-Clusters verwendet. Das folgende Beispiel zeigt eine Manifestdatei, mit der vier Dateien aus unterschiedlichen Buckets geladen werden.

{
  "entries": [
    {
      "url":"s3://aurora-bucket/2013-10-04-customerdata", 
      "mandatory":true
    },
    {
      "url":"s3-us-west-2://aurora-bucket-usw2/2013-10-05-customerdata",
      "mandatory":true
    },
    {
      "url":"s3://aurora-bucket/2013-10-04-customerdata", 
      "mandatory":false
    },
    {
      "url":"s3://aurora-bucket/2013-10-05-customerdata"
    }
  ]
}

Das optionale Flag mandatory gibt an, ob LOAD DATA FROM S3 eine Fehlermeldung zurückgeben soll, wenn die Datei nicht gefunden wird. Das Flag mandatory ist standardmäßig auf false gesetzt. Wenn keine Dateien gefunden werden, wird mandatory beendet, und zwar unabhängig vom LOAD DATA FROM S3-Wert.

Manifestdateien können eine beliebige Erweiterung haben. Im folgenden Beispiel wird die Anweisung LOAD DATA FROM S3 mit dem Manifest aus dem vorherigen Beispiel ausgeführt, das den Namen customer.manifest trägt.

LOAD DATA FROM S3 MANIFEST 's3-us-west-2://aurora-bucket/customer.manifest'
    INTO TABLE CUSTOMER
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (ID, FIRSTNAME, LASTNAME, EMAIL);

Nachdem die Anweisung beendet ist, wird ein Eintrag für jede erfolgreich geladene Datei in die Tabelle aurora_s3_load_history geschrieben.

Überprüfen der geladenen Dateien mit der Tabelle „aurora_s3_load_history“

Mit jeder erfolgreich ausgeführten Anweisung LOAD DATA FROM S3 wird die Tabelle aurora_s3_load_history im Schema mysql mit einem Eintrag für jede geladene Datei aktualisiert.

Nach der Ausführung der Anweisung LOAD DATA FROM S3 können Sie überprüfen, welche Dateien geladen wurden. Dazu führen Sie eine Abfrage für die Tabelle aurora_s3_load_history aus. Um die Dateien zu sehen, die aus einer Iteration der Anweisung geladen wurden, verwenden Sie die WHERE Klausel, um die Datensätze auf dem Amazon S3 URI nach der in der Anweisung verwendeten Manifestdatei zu filtern. Wenn Sie zuvor dieselbe Manifestdatei verwendet haben, filtern Sie die Ereignisse mithilfe des Felds timestamp.

select * from mysql.aurora_s3_load_history where load_prefix = 'S3_URI';

In der folgenden Tabelle werden die Felder der Tabelle aurora_s3_load_history beschrieben.

Beispiele

Mit folgender Anweisung werden Daten aus einem Amazon S3-Bucket geladen, der sich in derselben Region befindet wie der Aurora-DB-Cluster. Die Anweisung liest die kommagetrennten Daten in der Dateicustomerdata.txt, die sich in amzn-s3-demo-bucket Amazon S3 S3-Bucket und lädt dann die Daten in die Tabellestore-schema.customer-table.

LOAD DATA FROM S3 's3://amzn-s3-demo-bucket/customerdata.csv' 
    INTO TABLE store-schema.customer-table
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (ID, FIRSTNAME, LASTNAME, ADDRESS, EMAIL, PHONE);

Mit folgender Anweisung werden Daten aus einem Amazon S3-Bucket geladen, der sich in einer anderen Region befindet als der Aurora-DB-Cluster. Die Anweisung liest die kommagetrennten Daten aus allen Dateien, die dem Objektpräfix in der employee-data amzn-s3-demo-bucket Amazon S3 S3-Bucket in der us-west-2 Region und lädt dann die Daten in die employees Tabelle.

LOAD DATA FROM S3 PREFIX 's3-us-west-2://amzn-s3-demo-bucket/employee_data'
    INTO TABLE employees
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (ID, FIRSTNAME, LASTNAME, EMAIL, SALARY);              

Die folgende Anweisung lädt Daten aus den Dateien, die in einer JSON Manifestdatei mit dem Namen q1_sales.json angegeben sind, in die Tabelle. sales

LOAD DATA FROM S3 MANIFEST 's3-us-west-2://amzn-s3-demo-bucket1/q1_sales.json'
    INTO TABLE sales
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (MONTH, STORE, GROSS, NET);

LOADXMLFROMS3

Sie können die LOAD XML FROM S3 Anweisung verwenden, um Daten aus XML Dateien, die in einem Amazon S3 S3-Bucket gespeichert sind, in einem von drei verschiedenen XML Formaten zu laden:

Syntax

LOAD XML FROM S3 'S3-URI'
    [REPLACE | IGNORE]
    INTO TABLE tbl_name
    [PARTITION (partition_name,...)]
    [CHARACTER SET charset_name]
    [ROWS IDENTIFIED BY '<element-name>']
    [IGNORE number {LINES | ROWS}]
    [(field_name_or_user_var,...)]
    [SET col_name = expr,...]

Parameter

Die Anweisung LOAD XML FROM S3 verwendet die folgenden erforderlichen und optionalen Parameter. Weitere Informationen zu einigen dieser Parameter finden Sie unter LOADXMLStatement in der SQL Dokumentation Meine Daten.