Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Chargement de données dans un cluster Amazon Aurora My SQL DB à partir de fichiers texte dans un compartiment Amazon S3

Vous pouvez utiliser l'instruction LOAD DATA FROM S3 ou LOAD XML FROM S3 pour charger les données de fichiers stockés dans un compartiment Amazon S3. Dans Aurora MySQL, les fichiers sont d'abord stockés sur le disque local, puis importés dans la base de données. Une fois les importations dans la base de données effectuées, les fichiers locaux sont supprimés.

Octroi à Aurora d'un accès à Amazon S3

Avant de charger des données depuis un compartiment Amazon S3, vous devez d'abord autoriser votre cluster Aurora My SQL DB à accéder à Amazon S3.

Octroi de privilèges pour charger des données dans Amazon Aurora My SQL

L'utilisateur de base de données qui émet l'instruction LOAD DATA FROM S3 ou LOAD XML FROM S3 doit avoir un rôle ou un privilège spécifique pour l'émettre. Dans Aurora My SQL version 3, vous accordez le AWS_LOAD_S3_ACCESS rôle. Dans Aurora My SQL version 2, vous accordez le LOAD FROM S3 privilège. L'utilisateur administratif d'un cluster de base de données reçoit le rôle ou le privilège approprié par défaut. Vous pouvez accorder le privilège à un autre utilisateur à l'aide des instructions suivantes.

Utilisez l'instruction suivante pour Aurora My SQL version 3 :

GRANT AWS_LOAD_S3_ACCESS TO 'user'@'domain-or-ip-address'

Utilisez l'instruction suivante pour Aurora My SQL version 2 :

GRANT LOAD FROM S3 ON *.* TO 'user'@'domain-or-ip-address'

Le AWS_LOAD_S3_ACCESS rôle et le LOAD FROM S3 privilège sont spécifiques à Amazon Aurora et ne sont pas disponibles pour les SQL bases de données My DB externes ni RDS pour les instances My SQL DB. Si vous avez configuré la réplication entre un cluster de base de données Aurora en tant que source de réplication et une base de SQL données My Database en tant que client de réplication, l'GRANTinstruction relative au rôle ou au privilège entraîne l'arrêt de la réplication avec une erreur. Vous pouvez ignorer sans risque l'erreur afin de reprendre la réplication. Pour ignorer l'erreur sur une SQL instance RDS for My, utilisez la procédure mysql_rds_skip_repl_error. Pour ignorer l'erreur sur une SQL base de données My externe, utilisez la variable système slave_skip_errors (Aurora My SQL version 2) ou la variable système replica_skip_errors (Aurora My version 3). SQL

Spécification du chemin (URI) vers un compartiment Amazon S3

La syntaxe permettant de spécifier le chemin (URI) vers les fichiers stockés dans un compartiment Amazon S3 est la suivante.

s3-region://amzn-s3-demo-bucket/file-name-or-prefix

Le chemin d'accès inclut les valeurs suivantes :

LOADDATAFROMS3

Vous pouvez utiliser l'LOAD DATA FROM S3instruction pour charger des données à partir de n'importe quel format de fichier texte pris en charge par l'SQLLOADDATAINFILEinstruction My, par exemple des données texte séparées par des virgules. Les fichiers compressés ne sont pas pris en charge.

Syntaxe

LOAD DATA [FROM] S3 [FILE | PREFIX | MANIFEST] 'S3-URI'
    [REPLACE | IGNORE]
    INTO TABLE tbl_name
    [PARTITION (partition_name,...)]
    [CHARACTER SET charset_name]
    [{FIELDS | COLUMNS}
        [TERMINATED BY 'string']
        [[OPTIONALLY] ENCLOSED BY 'char']
        [ESCAPED BY 'char']
    ]
    [LINES
        [STARTING BY 'string']
        [TERMINATED BY 'string']
    ]
    [IGNORE number {LINES | ROWS}]
    [(col_name_or_user_var,...)]
    [SET col_name = expr,...]

Paramètres

L'instruction LOAD DATA FROM S3 utilise les paramètres obligatoires et facultatifs suivants. Vous trouverez plus de détails sur certains de ces paramètres dans la section LOADDATAStatement de la section Ma SQL documentation.

Vous ne pouvez pas utiliser le mot-clé LOCAL de l'instruction LOAD DATA FROM S3 si vous chargez des données à partir d'un compartiment Amazon S3.

Utilisation d'un manifeste pour spécifier les fichiers de données à charger

Vous pouvez utiliser l'LOAD DATA FROM S3instruction associée au MANIFEST mot-clé pour spécifier un fichier manifeste au JSON format répertoriant les fichiers texte à charger dans une table de votre cluster de bases de données.

Le JSON schéma suivant décrit le format et le contenu d'un fichier manifeste.

{
    "$schema": "http://json-schema.org/draft-04/schema#",
    "additionalProperties": false,
    "definitions": {},
    "id": "Aurora_LoadFromS3_Manifest",
    "properties": {
        "entries": {
            "additionalItems": false,
            "id": "/properties/entries",
            "items": {
                "additionalProperties": false,
                "id": "/properties/entries/items",
                "properties": {
                    "mandatory": {
                        "default": "false",
                        "id": "/properties/entries/items/properties/mandatory",
                        "type": "boolean"
                    },
                    "url": {
                        "id": "/properties/entries/items/properties/url",
                        "maxLength": 1024,
                        "minLength": 1,
                        "type": "string"
                    }
                },
                "required": [
                    "url"
                ],
                "type": "object"
            },
            "type": "array",
            "uniqueItems": true
        }
    },
    "required": [
        "entries"
    ],
    "type": "object"
}

Chaque url élément du manifeste doit spécifier un URL avec le nom du compartiment et le chemin complet de l'objet du fichier, et pas simplement un préfixe. Vous pouvez utiliser un manifeste pour charger les fichiers de différents compartiments, différentes régions ou les fichiers qui ne partagent pas le même préfixe. Si aucune région n'est spécifiée dans leURL, la région du cluster de base de données Aurora cible est utilisée. L'exemple suivant illustre un fichier manifeste qui charge quatre fichiers à partir de trois compartiments différents.

{
  "entries": [
    {
      "url":"s3://aurora-bucket/2013-10-04-customerdata", 
      "mandatory":true
    },
    {
      "url":"s3-us-west-2://aurora-bucket-usw2/2013-10-05-customerdata",
      "mandatory":true
    },
    {
      "url":"s3://aurora-bucket/2013-10-04-customerdata", 
      "mandatory":false
    },
    {
      "url":"s3://aurora-bucket/2013-10-05-customerdata"
    }
  ]
}

L'indicateur facultatif mandatory spécifie si LOAD DATA FROM S3 doit renvoyer une erreur si le fichier est introuvable. L'indicateur mandatory est défini par défaut sur false. Quels que soient les paramètres de mandatory, LOAD DATA FROM S3 s'arrête si aucun fichier n'est trouvé.

Les fichiers manifestes peuvent avoir n'importe quelle extension. L'exemple suivant exécute l'instruction LOAD DATA FROM S3 avec le manifeste de l'exemple précédent, qui s'appelle customer.manifest.

LOAD DATA FROM S3 MANIFEST 's3-us-west-2://aurora-bucket/customer.manifest'
    INTO TABLE CUSTOMER
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (ID, FIRSTNAME, LASTNAME, EMAIL);

Une fois l'instruction terminée, une entrée pour chaque fichier chargé avec succès est écrite dans la table aurora_s3_load_history.

Vérification des fichiers chargés grâce à la table aurora_s3_load_history

Chaque instruction LOAD DATA FROM S3 réussie met à jour la table aurora_s3_load_history dans le schéma mysql avec une entrée pour chaque fichier chargé.

Après avoir exécuté l'instruction LOAD DATA FROM S3, vous pouvez vérifier quels fichiers ont été chargés en interrogeant la table aurora_s3_load_history. Pour voir les fichiers chargés à la suite d'une itération de l'instruction, utilisez la WHERE clause pour filtrer les enregistrements sur Amazon S3 URI en fonction du fichier manifeste utilisé dans l'instruction. Si vous avez utilisé le même fichier manifeste auparavant, filtrez les résultats grâce au champ timestamp.

select * from mysql.aurora_s3_load_history where load_prefix = 'S3_URI';

La table suivante décrit les champs dans la table aurora_s3_load_history.

Exemples

L'instruction suivante charge les données d'un compartiment Amazon S3 situé dans la même région que le cluster de base de données Aurora. L'instruction lit les données séparées par des virgules dans le fichier customerdata.txt qui se trouve dans le amzn-s3-demo-bucket Compartiment Amazon S3, puis charge les données dans la tablestore-schema.customer-table.

LOAD DATA FROM S3 's3://amzn-s3-demo-bucket/customerdata.csv' 
    INTO TABLE store-schema.customer-table
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (ID, FIRSTNAME, LASTNAME, ADDRESS, EMAIL, PHONE);

L'instruction suivante charge les données d'un compartiment Amazon S3 situé dans une région différente du cluster de base de données Aurora. L'instruction lit les données séparées par des virgules dans tous les fichiers qui correspondent au préfixe d'employee-dataobjet dans le amzn-s3-demo-bucket Compartiment Amazon S3 dans la us-west-2 région, puis charge les données dans la employees table.

LOAD DATA FROM S3 PREFIX 's3-us-west-2://amzn-s3-demo-bucket/employee_data'
    INTO TABLE employees
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (ID, FIRSTNAME, LASTNAME, EMAIL, SALARY);              

L'instruction suivante charge les données des fichiers spécifiés dans un fichier JSON manifeste nommé q1_sales.json dans la table. sales

LOAD DATA FROM S3 MANIFEST 's3-us-west-2://amzn-s3-demo-bucket1/q1_sales.json'
    INTO TABLE sales
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (MONTH, STORE, GROSS, NET);

LOADXMLFROMS3

Vous pouvez utiliser LOAD XML FROM S3 cette instruction pour charger des données à partir de XML fichiers stockés dans un compartiment Amazon S3 dans l'un des trois XML formats suivants :

Syntaxe

LOAD XML FROM S3 'S3-URI'
    [REPLACE | IGNORE]
    INTO TABLE tbl_name
    [PARTITION (partition_name,...)]
    [CHARACTER SET charset_name]
    [ROWS IDENTIFIED BY '<element-name>']
    [IGNORE number {LINES | ROWS}]
    [(field_name_or_user_var,...)]
    [SET col_name = expr,...]

Paramètres

L'instruction LOAD XML FROM S3 utilise les paramètres obligatoires et facultatifs suivants. Vous trouverez plus de détails sur certains de ces paramètres dans la section LOADXMLStatement de la section Ma SQL documentation.