Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Caricamento di dati in un cluster Amazon Aurora My SQL DB da file di testo in un bucket Amazon S3

Puoi usare l'istruzione LOAD DATA FROM S3 o LOAD XML FROM S3 per caricare i dati dai file memorizzati in un bucket Amazon S3. In Aurora MySQL, i file vengono prima archiviati sul disco locale e quindi importati nel database. Al termine delle importazioni nel database, i file locali vengono eliminati.

Accesso di Aurora a Amazon S3;

Prima di poter caricare i dati da un bucket Amazon S3, devi prima concedere al cluster Aurora My SQL DB l'autorizzazione ad accedere ad Amazon S3.

Concessione dei privilegi per caricare dati in Amazon Aurora My SQL

L'utente del database che invia l'istruzione LOAD DATA FROM S3 o LOAD XML FROM S3 deve avere un ruolo o privilegio specifico per rilasciare una delle due istruzioni. In Aurora My SQL version 3, concedi il AWS_LOAD_S3_ACCESS ruolo. In Aurora My SQL version 2, concedi il LOAD FROM S3 privilegio. All'utente amministrativo per un cluster di database è concesso il ruolo o il privilegio appropriato per impostazione predefinita. Puoi concedere il privilegio a un altro utente usando le seguenti istruzioni.

Usa la seguente dichiarazione per Aurora My SQL versione 3:

GRANT AWS_LOAD_S3_ACCESS TO 'user'@'domain-or-ip-address'

Usa la seguente dichiarazione per Aurora My SQL versione 2:

GRANT LOAD FROM S3 ON *.* TO 'user'@'domain-or-ip-address'

Il AWS_LOAD_S3_ACCESS ruolo e il LOAD FROM S3 privilegio sono specifici di Amazon Aurora e non sono disponibili per i database SQL My esterni RDS o per le istanze SQL My DB. Se hai impostato la replica tra un cluster Aurora DB come origine di replica e un database SQL My come client di replica, l'istruzione per il ruolo o GRANT il privilegio causa l'interruzione della replica con un errore. Puoi ignorare l'errore in modo sicuro per riprendere la replica. Per ignorare l'errore su un'istanza RDS for MySQL, utilizzate la procedura mysql_rds_skip_repl_error. Per ignorare l'errore su un SQL database My esterno, utilizzate la variabile di sistema slave_skip_errors (Aurora My SQL versione 2) o la variabile di sistema replica_skip_errors (Aurora My versione 3). SQL

Specificare il percorso (URI) verso un bucket Amazon S3

La sintassi per specificare il percorso (URI) dei file archiviati in un bucket Amazon S3 è la seguente.

s3-region://amzn-s3-demo-bucket/file-name-or-prefix

Il percorso include i seguenti valori:

LOADDATAFROMS3

È possibile utilizzare l'LOAD DATA FROM S3istruzione per caricare dati da qualsiasi formato di file di testo supportato dall'SQLLOADDATAINFILEistruzione My, ad esempio dati di testo delimitati da virgole. I file compressi non sono supportati.

Sintassi

LOAD DATA [FROM] S3 [FILE | PREFIX | MANIFEST] 'S3-URI'
    [REPLACE | IGNORE]
    INTO TABLE tbl_name
    [PARTITION (partition_name,...)]
    [CHARACTER SET charset_name]
    [{FIELDS | COLUMNS}
        [TERMINATED BY 'string']
        [[OPTIONALLY] ENCLOSED BY 'char']
        [ESCAPED BY 'char']
    ]
    [LINES
        [STARTING BY 'string']
        [TERMINATED BY 'string']
    ]
    [IGNORE number {LINES | ROWS}]
    [(col_name_or_user_var,...)]
    [SET col_name = expr,...]

Parametri

L'istruzione LOAD DATA FROM S3 utilizza i seguenti parametri obbligatori e facoltativi. Puoi trovare maggiori dettagli su alcuni di questi parametri in LOADDATAStatement nella documentazione MySQL.

Non puoi usare la parola chiave LOCAL dell'istruzione LOAD DATA FROM S3 se stai caricando i dati da un bucket Amazon S3.

Utilizzo di un manifest per specificare i file di dati da caricare

È possibile utilizzare l'LOAD DATA FROM S3istruzione con la MANIFEST parola chiave per specificare un file manifest in JSON formato che elenchi i file di testo da caricare in una tabella nel cluster DB.

JSONLo schema seguente descrive il formato e il contenuto di un file manifest.

{
    "$schema": "http://json-schema.org/draft-04/schema#",
    "additionalProperties": false,
    "definitions": {},
    "id": "Aurora_LoadFromS3_Manifest",
    "properties": {
        "entries": {
            "additionalItems": false,
            "id": "/properties/entries",
            "items": {
                "additionalProperties": false,
                "id": "/properties/entries/items",
                "properties": {
                    "mandatory": {
                        "default": "false",
                        "id": "/properties/entries/items/properties/mandatory",
                        "type": "boolean"
                    },
                    "url": {
                        "id": "/properties/entries/items/properties/url",
                        "maxLength": 1024,
                        "minLength": 1,
                        "type": "string"
                    }
                },
                "required": [
                    "url"
                ],
                "type": "object"
            },
            "type": "array",
            "uniqueItems": true
        }
    },
    "required": [
        "entries"
    ],
    "type": "object"
}

Ciascuno url nel manifesto deve specificare un URL nome del bucket e il percorso completo dell'oggetto per il file, non solo un prefisso. Puoi utilizzare un manifest per caricare file da diversi bucket, regioni o file che non condividono lo stesso prefisso. Se non è specificata una regione inURL, viene utilizzata la regione del cluster Aurora DB di destinazione. L'esempio seguente mostra un file manifest che carica quattro file da diversi bucket.

{
  "entries": [
    {
      "url":"s3://aurora-bucket/2013-10-04-customerdata", 
      "mandatory":true
    },
    {
      "url":"s3-us-west-2://aurora-bucket-usw2/2013-10-05-customerdata",
      "mandatory":true
    },
    {
      "url":"s3://aurora-bucket/2013-10-04-customerdata", 
      "mandatory":false
    },
    {
      "url":"s3://aurora-bucket/2013-10-05-customerdata"
    }
  ]
}

Il flag facoltativo mandatory specifica se LOAD DATA FROM S3 deve restituire un errore qualora il file non venga trovato. L'impostazione predefinita del flag mandatory è false. Indipendentemente dall'impostazione di mandatory, LOAD DATA FROM S3 termina se non viene trovato alcun file.

I file manifest possono avere qualsiasi estensione. L'esempio seguente esegue l'istruzione LOAD DATA FROM S3 con manifest nell'esempio precedente, che viene denominato customer.manifest.

LOAD DATA FROM S3 MANIFEST 's3-us-west-2://aurora-bucket/customer.manifest'
    INTO TABLE CUSTOMER
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (ID, FIRSTNAME, LASTNAME, EMAIL);

Al termine dell'istruzione, per ogni file caricato viene scritta una voce nella tabella aurora_s3_load_history.

Verifica dei file caricati utilizzando la tabella aurora_s3_load_history

Ogni istruzione LOAD DATA FROM S3 con esito positivo aggiorna la tabella aurora_s3_load_history nello schema mysql con una voce per ogni file che è stato caricato.

Dopo aver eseguito l'istruzione LOAD DATA FROM S3, puoi verificare quali file sono stati caricati eseguendo una query sulla tabella aurora_s3_load_history. Per visualizzare i file caricati da un'iterazione dell'istruzione, utilizza la WHERE clausola per filtrare i record su Amazon URI S3 per il file manifesto utilizzato nell'istruzione. Se hai utilizzato lo stesso file manifest di prima, filtra i risultati utilizzando il campo timestamp.

select * from mysql.aurora_s3_load_history where load_prefix = 'S3_URI';

La tabella seguente descrive i campi della tabella aurora_s3_load_history.

Esempi

La seguente istruzione carica i dati da un bucket Amazon S3 che si trova nella stessa regione del cluster DB Aurora. L'istruzione legge i dati delimitati da virgole nel file contenuto in customerdata.txt amzn-s3-demo-bucket Bucket Amazon S3, quindi carica i dati nella tabella. store-schema.customer-table

LOAD DATA FROM S3 's3://amzn-s3-demo-bucket/customerdata.csv' 
    INTO TABLE store-schema.customer-table
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (ID, FIRSTNAME, LASTNAME, ADDRESS, EMAIL, PHONE);

La seguente istruzione carica i dati da un bucket Amazon S3 che si trova in una regione diversa rispetto al cluster DB Aurora. L'istruzione legge i dati delimitati da virgole da tutti i file che corrispondono al prefisso dell'oggetto nel employee-data amzn-s3-demo-bucket Bucket Amazon S3 nella us-west-2 regione, quindi carica i dati nella tabella. employees

LOAD DATA FROM S3 PREFIX 's3-us-west-2://amzn-s3-demo-bucket/employee_data'
    INTO TABLE employees
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (ID, FIRSTNAME, LASTNAME, EMAIL, SALARY);              

L'istruzione seguente carica i dati dai file specificati in un file JSON manifest denominato q1_sales.json nella tabella. sales

LOAD DATA FROM S3 MANIFEST 's3-us-west-2://amzn-s3-demo-bucket1/q1_sales.json'
    INTO TABLE sales
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (MONTH, STORE, GROSS, NET);

LOADXMLFROMS3

Puoi utilizzare l'LOAD XML FROM S3istruzione per caricare dati dai XML file archiviati su un bucket Amazon S3 in uno dei tre diversi formati: XML

Sintassi

LOAD XML FROM S3 'S3-URI'
    [REPLACE | IGNORE]
    INTO TABLE tbl_name
    [PARTITION (partition_name,...)]
    [CHARACTER SET charset_name]
    [ROWS IDENTIFIED BY '<element-name>']
    [IGNORE number {LINES | ROWS}]
    [(field_name_or_user_var,...)]
    [SET col_name = expr,...]

Parametri

L'istruzione LOAD XML FROM S3 utilizza i seguenti parametri obbligatori e facoltativi. Puoi trovare maggiori dettagli su alcuni di questi parametri in LOADXMLStatement nella mia SQL documentazione.