Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memuat data ke klaster DB Amazon Aurora MySQL dari file teks di bucket Amazon S3

Anda dapat menggunakan pernyataan LOAD DATA FROM S3 atau LOAD XML FROM S3 untuk memuat data dari file yang tersimpan di bucket Amazon S3. Di Aurora MySQL, file pertama kali disimpan di disk lokal, dan kemudian diimpor ke database. Setelah impor ke database selesai, file lokal dihapus.

Memberi Aurora akses ke Amazon S3

Sebelum Anda dapat memuat data dari bucket Amazon S3, Anda harus terlebih dahulu memberi klaster DB Aurora MySQL Anda izin untuk mengakses Amazon S3.

Memberikan hak akses untuk memuat data di Amazon Aurora MySQL

Pengguna basis data yang mengeluarkan pernyataan LOAD XML FROM S3 atau LOAD DATA FROM S3 harus memiliki peran atau hak akses tertentu untuk mengeluarkan pernyataan. Di Aurora MySQL versi 3, Anda memberikan peran AWS_LOAD_S3_ACCESS. Di Aurora MySQL versi 2, Anda memberikan hak akses LOAD FROM S3. Pengguna administratif untuk klaster DB akan diberi peran atau hak akses yang sesuai secara default. Anda dapat memberikan hak akses kepada pengguna lain dengan menggunakan salah satu pernyataan berikut.

Gunakan pernyataan berikut untuk Aurora MySQL versi 3:

GRANT AWS_LOAD_S3_ACCESS TO 'user'@'domain-or-ip-address'

Gunakan pernyataan berikut untuk Aurora MySQL versi 2:

GRANT LOAD FROM S3 ON *.* TO 'user'@'domain-or-ip-address'

Peran AWS_LOAD_S3_ACCESS dan hak akses LOAD FROM S3 dikhususkan untuk Amazon Aurora dan tidak tersedia untuk basis data MySQL eksternal atau instans DB RDS for MySQL. Jika Anda telah mengatur replikasi antara klaster DB Aurora sebagai master replikasi dan basis data MySQL sebagai klien replikasi, maka pernyataan GRANT untuk peran atau hak akses menyebabkan replikasi berhenti dengan kesalahan. Anda dapat melewati kesalahan ini dengan aman untuk melanjutkan replikasi. Untuk melewati kesalahan pada instans RDS for MySQL, gunakan prosedur mysql_rds_skip_repl_error. Untuk melewati kesalahan pada basis data MySQL eksternal, gunakan variabel sistem slave_skip_errors (Aurora MySQL versi 2) atau variabel sistem replica_skip_errors (Aurora MySQL versi 3).

Menentukan jalur (URI) ke bucket Amazon S3

Sintaksis untuk menentukan jalur (URI) ke file yang tersimpan di bucket Amazon S3 adalah sebagai berikut.

s3-region://DOC-EXAMPLE-BUCKET/file-name-or-prefix

Jalur tersebut mencakup nilai-nilai berikut:

LOAD DATA FROM S3

Anda dapat menggunakan pernyataan LOAD DATA FROM S3 untuk memuat data dari format file teks apa pun yang didukung oleh pernyataan LOAD DATA INFILE MySQL, seperti data teks yang dipisahkan koma. file terkompresi tidak didukung.

Sintaksis

LOAD DATA [FROM] S3 [FILE | PREFIX | MANIFEST] 'S3-URI'
    [REPLACE | IGNORE]
    INTO TABLE tbl_name
    [PARTITION (partition_name,...)]
    [CHARACTER SET charset_name]
    [{FIELDS | COLUMNS}
        [TERMINATED BY 'string']
        [[OPTIONALLY] ENCLOSED BY 'char']
        [ESCAPED BY 'char']
    ]
    [LINES
        [STARTING BY 'string']
        [TERMINATED BY 'string']
    ]
    [IGNORE number {LINES | ROWS}]
    [(col_name_or_user_var,...)]
    [SET col_name = expr,...]

Parameter

Pernyataan LOAD DATA FROM S3 menggunakan parameter wajib dan opsional berikut. Anda dapat menemukan detail selengkapnya tentang beberapa parameter ini dalam LOAD DATA Statement dalam dokumentasi MySQL.

Anda tidak dapat menggunakan kata kunci LOCAL dari pernyataan LOAD DATA FROM S3 jika memuat data dari bucket Amazon S3.

Menggunakan manifes untuk menentukan file data yang akan dimuat

Anda dapat menggunakan pernyataan LOAD DATA FROM S3 dengan kata kunci MANIFEST untuk menentukan file manifes dalam format JSON yang mencantumkan file teks yang akan dimuat ke dalam tabel di klaster DB Anda.

Skema JSON berikut menjelaskan format dan konten file manifes.

{
    "$schema": "http://json-schema.org/draft-04/schema#",
    "additionalProperties": false,
    "definitions": {},
    "id": "Aurora_LoadFromS3_Manifest",
    "properties": {
        "entries": {
            "additionalItems": false,
            "id": "/properties/entries",
            "items": {
                "additionalProperties": false,
                "id": "/properties/entries/items",
                "properties": {
                    "mandatory": {
                        "default": "false",
                        "id": "/properties/entries/items/properties/mandatory",
                        "type": "boolean"
                    },
                    "url": {
                        "id": "/properties/entries/items/properties/url",
                        "maxLength": 1024,
                        "minLength": 1,
                        "type": "string"
                    }
                },
                "required": [
                    "url"
                ],
                "type": "object"
            },
            "type": "array",
            "uniqueItems": true
        }
    },
    "required": [
        "entries"
    ],
    "type": "object"
}

Setiap url dalam manifes harus menentukan URL dengan nama bucket dan jalur objek lengkap untuk file tersebut, bukan hanya awalan. Anda dapat menggunakan manifes untuk memuat file dari bucket yang berbeda-beda, wilayah yang berbeda-beda, atau file yang tidak memiliki awalan yang sama. Jika wilayah tidak ditentukan dalam URL, wilayah klaster DB Aurora target akan digunakan. Contoh berikut menunjukkan file manifes yang memuat empat file dari bucket yang berbeda.

{
  "entries": [
    {
      "url":"s3://aurora-bucket/2013-10-04-customerdata", 
      "mandatory":true
    },
    {
      "url":"s3-us-west-2://aurora-bucket-usw2/2013-10-05-customerdata",
      "mandatory":true
    },
    {
      "url":"s3://aurora-bucket/2013-10-04-customerdata", 
      "mandatory":false
    },
    {
      "url":"s3://aurora-bucket/2013-10-05-customerdata"
    }
  ]
}

Flag mandatory opsional menentukan apakah LOAD DATA FROM S3 harus menampilkan kesalahan jika file tidak ditemukan. Flag mandatory diatur secara default ke false. Terlepas dari cara mandatory diatur, LOAD DATA FROM S3 akan diterminasi jika tidak ada file yang ditemukan.

File manifes dapat memiliki ekstensi. Contoh berikut menjalankan pernyataan LOAD DATA FROM S3 dengan manifes di contoh sebelumnya, yang bernama customer.manifest.

LOAD DATA FROM S3 MANIFEST 's3-us-west-2://aurora-bucket/customer.manifest'
    INTO TABLE CUSTOMER
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (ID, FIRSTNAME, LASTNAME, EMAIL);

Setelah pernyataan selesai, entri untuk setiap file yang berhasil dimuat akan ditulis ke tabel aurora_s3_load_history.

Memverifikasi file yang dimuat menggunakan tabel aurora_s3_load_history

Setiap pernyataan LOAD DATA FROM S3 yang berhasil akan memperbarui tabel aurora_s3_load_history dalam skema mysql dengan entri untuk setiap file yang dimuat.

Setelah Anda menjalankan pernyataan LOAD DATA FROM S3, Anda dapat memverifikasi file mana yang dimuat dengan mengueri tabel aurora_s3_load_history. Untuk melihat file yang dimuat dari satu iterasi pernyataan, gunakan klausa WHERE untuk memfilter catatan di URI Amazon S3 untuk file manifes yang digunakan dalam pernyataan. Jika Anda telah menggunakan file manifes yang sama sebelumnya, filter hasilnya menggunakan bidang timestamp.

select * from mysql.aurora_s3_load_history where load_prefix = 'S3_URI';

Tabel berikut menjelaskan bidang dalam tabel aurora_s3_load_history.

Contoh

Pernyataan berikut memuat data dari bucket Amazon S3 yang berada di wilayah yang sama dengan klaster DB Aurora. Pernyataan tersebut membaca data yang dibatasi koma dalam file customerdata.txt yang ada di bucket DOC-EXAMPLE-BUCKET Amazon S3, lalu memuat data ke dalam tabel. store-schema.customer-table

LOAD DATA FROM S3 's3://DOC-EXAMPLE-BUCKET/customerdata.csv' 
    INTO TABLE store-schema.customer-table
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (ID, FIRSTNAME, LASTNAME, ADDRESS, EMAIL, PHONE);

Pernyataan berikut memuat data dari bucket Amazon S3 yang berada di wilayah yang berbeda dari klaster DB Aurora. Pernyataan tersebut membaca data yang dibatasi koma dari semua file yang cocok dengan awalan employee-data objek di bucket DOC-EXAMPLE-BUCKET Amazon S3 di wilayah tersebut, lalu memuat data ke us-west-2 dalam tabel. employees

LOAD DATA FROM S3 PREFIX 's3-us-west-2://DOC-EXAMPLE-BUCKET/employee_data'
    INTO TABLE employees
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (ID, FIRSTNAME, LASTNAME, EMAIL, SALARY);              

Pernyataan berikut memuat data dari file yang ditentukan dalam file manifes JSON bernama q1_sales.json ke dalam tabel sales.

LOAD DATA FROM S3 MANIFEST 's3-us-west-2://DOC-EXAMPLE-BUCKET1/q1_sales.json'
    INTO TABLE sales
    FIELDS TERMINATED BY ','
    LINES TERMINATED BY '\n'
    (MONTH, STORE, GROSS, NET);

LOAD XML FROM S3

Anda dapat menggunakan pernyataan LOAD XML FROM S3 untuk memuat data dari file XML yang tersimpan di bucket Amazon S3 dalam salah satu dari tiga format XML yang berbeda:

Sintaksis

LOAD XML FROM S3 'S3-URI'
    [REPLACE | IGNORE]
    INTO TABLE tbl_name
    [PARTITION (partition_name,...)]
    [CHARACTER SET charset_name]
    [ROWS IDENTIFIED BY '<element-name>']
    [IGNORE number {LINES | ROWS}]
    [(field_name_or_user_var,...)]
    [SET col_name = expr,...]

Parameter

Pernyataan LOAD XML FROM S3 menggunakan parameter wajib dan opsional berikut. Anda dapat menemukan detail selengkapnya tentang beberapa parameter ini dalam LOAD XML Statement dalam dokumentasi MySQL.