CREATE EXTERNAL TABLE

Nama tabel yang akan dibuat, dikualifikasikan oleh nama skema eksternal. Tabel eksternal harus dibuat dalam skema eksternal. Untuk informasi selengkapnya, lihat CREATE EXTERNAL SCHEMA.

Panjang maksimum untuk nama tabel adalah 127 byte; nama yang lebih panjang dipotong menjadi 127 byte. Anda dapat menggunakan UTF -8 karakter multibyte hingga maksimal empat byte. Amazon Redshift memberlakukan batas 9.900 tabel per cluster, termasuk tabel sementara yang ditentukan pengguna dan tabel sementara yang dibuat oleh Amazon Redshift selama pemrosesan kueri atau pemeliharaan sistem. Secara opsional, Anda dapat memenuhi syarat nama tabel dengan nama database. Dalam contoh berikut, nama database adalahspectrum_db, nama skema eksternalspectrum_schema, dan nama tabel adalahtest.

create external table spectrum_db.spectrum_schema.test (c1 int)
stored as parquet
location 's3://amzn-s3-demo-bucket/myfolder/';

Jika database atau skema yang ditentukan tidak ada, tabel tidak dibuat, dan pernyataan mengembalikan kesalahan. Anda tidak dapat membuat tabel atau tampilan dalam database sistemtemplate0,, template1padb_harvest, atausys:internal.

Nama tabel harus berupa nama unik untuk skema yang ditentukan.

Untuk informasi selengkapnya tentang nama yang valid, lihatNama dan pengidentifikasi.

Nama dan tipe data dari setiap kolom yang sedang dibuat.

Panjang maksimum untuk nama kolom adalah 127 byte; nama yang lebih panjang dipotong menjadi 127 byte. Anda dapat menggunakan UTF -8 karakter multibyte hingga maksimal empat byte. Anda tidak dapat menentukan nama kolom "$path" atau"$size". Untuk informasi selengkapnya tentang nama yang valid, lihatNama dan pengidentifikasi.

Secara default, Amazon Redshift membuat tabel eksternal dengan $path pseudocolumns dan. $size Anda dapat menonaktifkan pembuatan pseudocolumns untuk sesi dengan menyetel parameter spectrum_enable_pseudo_columns konfigurasi ke. false Untuk informasi selengkapnya, lihat Pseudokolom .

Jika pseudocolumns diaktifkan, jumlah maksimum kolom yang dapat Anda tentukan dalam satu tabel adalah 1.598. Jika pseudocolumns tidak diaktifkan, jumlah maksimum kolom yang dapat Anda tentukan dalam satu tabel adalah 1.600.

Jika Anda membuat “tabel lebar”, pastikan daftar kolom Anda tidak melebihi batas lebar baris untuk hasil perantara selama pemuatan dan pemrosesan kueri. Untuk informasi selengkapnya, lihat Catatan penggunaan.

Untuk perintah CREATE EXTERNAL TABLE AS, daftar kolom tidak diperlukan, karena kolom berasal dari kueri.

Jenis data berikut didukung:

UntukDATE, Anda dapat menggunakan format seperti yang dijelaskan berikut. Untuk nilai bulan yang direpresentasikan menggunakan digit, format berikut didukung:

Untuk nilai bulan yang diwakili menggunakan singkatan tiga huruf, format berikut didukung:

Untuk nilai tahun yang secara konsisten kurang dari 100, tahun dihitung dengan cara berikut:

Nilai stempel waktu dalam file teks harus dalam formatyyyy-mm-dd HH:mm:ss.SSSSSS, seperti yang ditunjukkan oleh nilai stempel waktu berikut:. 2017-05-01 11:30:59.000000

Panjang VARCHAR kolom didefinisikan dalam byte, bukan karakter. Misalnya, kolom VARCHAR (12) dapat berisi 12 karakter single-byte atau 6 karakter dua-byte. Saat Anda menanyakan tabel eksternal, hasil dipotong agar sesuai dengan ukuran kolom yang ditentukan tanpa mengembalikan kesalahan. Untuk informasi selengkapnya, lihat Penyimpanan dan rentang.

Untuk performa terbaik, sebaiknya tentukan ukuran kolom terkecil yang sesuai dengan data Anda. Untuk menemukan ukuran maksimum dalam byte untuk nilai dalam kolom, gunakan LENGTH fungsi OCTET_. Contoh berikut mengembalikan ukuran maksimum nilai dalam kolom email.

select max(octet_length(email)) from users;

max
---
 62

Sebuah klausa yang mendefinisikan tabel dipartisi dengan satu atau lebih kolom partisi. Direktori data terpisah digunakan untuk setiap kombinasi yang ditentukan, yang dapat meningkatkan kinerja kueri dalam beberapa keadaan. Kolom yang dipartisi tidak ada dalam data tabel itu sendiri. Jika Anda menggunakan nilai untuk col_name yang sama dengan kolom tabel, Anda mendapatkan kesalahan.

Setelah membuat tabel yang dipartisi, ubah tabel menggunakan ADD PARTITION pernyataanALTER TABLE... untuk mendaftarkan partisi baru ke katalog eksternal. Saat Anda menambahkan partisi, Anda menentukan lokasi subfolder di Amazon S3 yang berisi data partisi.

Misalnya, jika tabel spectrum.lineitem_part didefinisikan denganPARTITIONED BY (l_shipdate date), jalankan ALTER TABLE perintah berikut untuk menambahkan partisi.

ALTER TABLE spectrum.lineitem_part ADD PARTITION (l_shipdate='1992-01-29')
LOCATION 's3://spectrum-public/lineitem_partition/l_shipdate=1992-01-29';

Jika Anda menggunakan CREATE EXTERNAL TABLE AS, Anda tidak perlu menjalankan ALTERTABLE... ADDPARTITION. Amazon Redshift secara otomatis mendaftarkan partisi baru di katalog eksternal. Amazon Redshift juga secara otomatis menulis data yang sesuai ke partisi di Amazon S3 berdasarkan kunci partisi atau kunci yang ditentukan dalam tabel.

Untuk melihat partisi, kueri tampilan SVV_EXTERNAL_PARTITIONS sistem.

Klausa yang menentukan format data yang mendasarinya. Nilai yang mungkin untuk rowformat adalah sebagai berikut:

Tentukan satu ASCII karakter untuk 'pembatas'. Anda dapat menentukan ASCII karakter non-cetak menggunakan oktal, dalam format di '\ ddd'mana dadalah digit oktal (0-7) hingga '\ 177'. Contoh berikut menentukan BEL (bel) karakter menggunakan oktal.

ROW FORMAT DELIMITED FIELDS TERMINATED BY '\007'

Jika ROW FORMAT dihilangkan, format defaultnya adalah DELIMITED FIELDS TERMINATED BY '\ A' (awal heading) dan LINES TERMINATED BY'\n'(baris baru).

Klausa yang menentukan SERDE format untuk data yang mendasarinya.

Jika ROW FORMAT dihilangkan, format defaultnya adalah DELIMITED FIELDS TERMINATED BY '\ A' (awal heading) dan LINES TERMINATED BY'\n'(baris baru).

Format file untuk file data.

Format yang valid adalah sebagai berikut:

Perintah CREATE EXTERNAL TABLE AS hanya mendukung dua format file, TEXTFILE danPARQUET.

Untuk INPUTFORMAT danOUTPUTFORMAT, tentukan nama kelas, seperti contoh berikut menunjukkan.

'org.apache.hadoop.mapred.TextInputFormat'

Jalur ke bucket atau folder Amazon S3 yang berisi file data atau file manifes yang berisi daftar jalur objek Amazon S3. Ember harus berada di AWS Wilayah yang sama dengan cluster Amazon Redshift. Untuk daftar AWS Wilayah yang didukung, lihatPertimbangan Amazon Redshift Spectrum.

Jika jalur menentukan bucket atau folder, misalnya's3://amzn-s3-demo-bucket/custdata/', Redshift Spectrum memindai file di bucket atau folder tertentu dan subfolder apa pun. Redshift Spectrum mengabaikan file dan file tersembunyi yang dimulai dengan titik atau garis bawah.

Jika jalur menentukan file manifes, 's3://bucket/manifest_file' argumen harus secara eksplisit mereferensikan satu file — misalnya,. 's3://amzn-s3-demo-bucket/manifest.txt' Itu tidak dapat mereferensikan key prefix.

Manifes adalah file teks dalam JSON format URL yang mencantumkan setiap file yang akan dimuat dari Amazon S3 dan ukuran file, dalam byte. URLTermasuk nama bucket dan path objek lengkap untuk file. File yang ditentukan dalam manifes dapat berada di bucket yang berbeda, tetapi semua bucket harus berada di AWS Wilayah yang sama dengan cluster Amazon Redshift. Jika file terdaftar dua kali, file dimuat dua kali. Contoh berikut menunjukkan JSON untuk manifes yang memuat tiga file.

{
  "entries": [
    {"url":"s3://amzn-s3-demo-bucket1/custdata.1", "meta": { "content_length": 5956875 } },
    {"url":"s3://amzn-s3-demo-bucket1/custdata.2", "meta": { "content_length": 5997091 } },
    {"url":"s3://amzn-s3-demo-bucket2/custdata.1", "meta": { "content_length": 5978675 } }
  ]
}

Anda dapat membuat penyertaan file tertentu wajib. Untuk melakukan ini, sertakan mandatory opsi di tingkat file dalam manifes. Saat Anda menanyakan tabel eksternal dengan file wajib yang hilang, SELECT pernyataan gagal. Pastikan bahwa semua file yang termasuk dalam definisi tabel eksternal ada. Jika tidak semuanya ada, kesalahan muncul yang menunjukkan file wajib pertama yang tidak ditemukan. Contoh berikut menunjukkan JSON untuk manifes dengan mandatory opsi disetel ketrue.

{
  "entries": [
    {"url":"s3://amzn-s3-demo-bucket1/custdata.1", "mandatory":true, "meta": { "content_length": 5956875 } },
    {"url":"s3://amzn-s3-demo-bucket1/custdata.2", "mandatory":false, "meta": { "content_length": 5997091 } },
    {"url":"s3://amzn-s3-demo-bucket2/custdata.1", "meta": { "content_length": 5978675 } }
  ]
}

Untuk mereferensikan file yang dibuat menggunakanUNLOAD, Anda dapat menggunakan manifes yang dibuat menggunakan UNLOAD MANIFEST parameter. File manifes kompatibel dengan file manifes untukCOPYdari Amazon S3, tetapi menggunakan kunci yang berbeda. Kunci yang tidak digunakan diabaikan.

Sebuah klausa yang menetapkan definisi tabel untuk properti tabel.