Memuat data dari pengaturan file lokal dan alur kerja - Amazon Redshift
Pengaturan administrator untuk memuat data dari file lokalMemuat data dari file lokal

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memuat data dari pengaturan file lokal dan alur kerja

Anda dapat memuat data dari file lokal ke tabel yang sudah ada atau yang baru.

Pengaturan administrator untuk memuat data dari file lokal

Administrator editor kueri v2 Anda harus menentukan bucket Amazon S3 umum di jendela Pengaturan akun. Pengguna akun harus dikonfigurasi dengan izin yang tepat.

  • IAMIzin yang diperlukan — pengguna pemuatan dari file lokal harus memilikis3:ListBucket,,s3:GetBucketLocation, s3:putObjects3:getObject, dan s3:deleteObject izin. Bagian optional-prefix dapat ditentukan untuk membatasi penggunaan terkait editor kueri v2 dari bucket ini ke objek dengan awalan ini. Anda dapat menggunakan opsi ini saat menggunakan bucket Amazon S3 yang sama ini untuk penggunaan selain editor kueri v2. Untuk informasi selengkapnya tentang bucket dan awalan, lihat Mengelola akses pengguna ke folder tertentu di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon. Untuk memastikan bahwa akses data lintas pengguna tidak diizinkan, sebaiknya administrator editor kueri v2 menggunakan kebijakan bucket Amazon S3 untuk membatasi akses objek berdasarkan. aws:userid Contoh berikut memungkinkan izin Amazon S3 ke <staging-bucket-name> dengan akses baca/tulis hanya ke objek Amazon S3 dengan awalan aws:userid sebagai.

    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::<staging-bucket-name>"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:DeleteObject"
            ],
            "Resource": [
                "arn:aws:s3:::<staging-bucket-name>[/<optional-prefix>]/${aws:userid}/*"
            ]
        }
    ]
}

  • Pemisahan data — kami menyarankan agar pengguna tidak memiliki akses ke data satu sama lain (bahkan sebentar). Memuat dari file lokal menggunakan bucket Amazon S3 pementasan yang disiapkan oleh administrator editor kueri v2. Konfigurasikan kebijakan bucket untuk bucket staging untuk menyediakan pemisahan data antar pengguna. Contoh berikut menunjukkan kebijakan bucket yang memisahkan data antar pengguna <staging-bucket-name>.

    {
 "Version": "2012-10-17",
    "Statement": [
        {"Sid": "userIdPolicy",
            "Effect": "Deny",
            "Principal": "*",
            "Action": ["s3:PutObject",
                       "s3:GetObject",
                       "s3:DeleteObject"],
            "NotResource": [
                "arn:aws:s3:::<staging-bucket-name>[/<optional-prefix>]/${aws:userid}/*"
            ]
         }
    ]
}

Memuat data dari file lokal

Untuk memuat data file lokal ke dalam tabel yang ada

Administrator editor kueri v2 Anda harus menentukan bucket Amazon S3 umum di jendela Pengaturan akun. editor kueri v2 secara otomatis mengunggah file lokal ke bucket Amazon S3 umum yang digunakan oleh akun Anda, lalu menggunakan perintah untuk memuat data. COPY COPYPerintah yang dihasilkan dan dijalankan oleh editor kueri v2 memuat jendela file lokal mendukung banyak parameter yang tersedia untuk sintaks COPY perintah untuk disalin dari Amazon S3. Untuk informasi tentang COPY perintah dan opsinya yang digunakan untuk memuat data dari Amazon S3, lihat COPYdari Amazon S3 di Panduan Pengembang Database Amazon Redshift.

  1. Konfirmasikan bahwa tabel sudah dibuat di database tempat Anda ingin memuat data.

  2. Konfirmasikan bahwa Anda terhubung ke database target di panel tampilan pohon editor kueri v2. Anda dapat membuat koneksi menggunakan menu konteks (klik kanan) ke cluster atau workgroup tempat data akan dimuat.

  3. Pilih Load Muat data.

  4. Untuk Sumber data, pilih Muat dari file lokal.

  5. Pilih Browse untuk menemukan file yang berisi data untuk Memuat file. Secara default, file dengan ekstensi.csv, .avro.parquet, dan .orc ditampilkan, tetapi Anda dapat memilih jenis file lainnya. Ukuran file maksimum adalah 100 MB.

  6. Pilih format File untuk file yang akan diunggah. Format data yang didukung adalahCSV,JSON,DELIMITER,FIXEDWIDTH,SHAPEFILE,AVRO,PARQUET, danORC. Tergantung pada format file yang ditentukan, Anda dapat memilih opsi File masing-masing. Anda juga dapat memilih Data dienkripsi jika data dienkripsi dan masukkan Nama Sumber Daya Amazon (ARN) dari KMS kunci yang digunakan untuk mengenkripsi data.

    Jika Anda memilih CSV atauDELIMITER, Anda juga dapat memilih karakter Delimiter dan apakah akan Abaikan baris header jika jumlah baris yang ditentukan sebenarnya adalah nama kolom dan bukan data yang akan dimuat.

  7. (Opsional) Pengaturan lanjutan mendukung berbagai parameter konversi Data dan operasi Beban. Masukkan informasi ini sesuai kebutuhan untuk file Anda.

    Untuk informasi selengkapnya tentang konversi data dan parameter pemuatan data, lihat Parameter konversi data dan Operasi pemuatan data di Panduan Pengembang Database Amazon Redshift.

  8. Pilih Berikutnya.

  9. Pilih Muat tabel yang ada.

  10. Konfirmasikan atau pilih lokasi tabel Target termasuk Cluster atau kelompok kerja, Database, Skema, dan nama Tabel tempat data dimuat.

  11. (Opsional) Anda dapat memilih nama kolom untuk dimasukkan Pemetaan kolom untuk memetakan kolom dalam urutan file data input.

  12. Pilih Muat data untuk memulai pemuatan data.

    Ketika beban selesai, pesan ditampilkan apakah beban berhasil atau tidak. Jika berhasil, Anda sekarang dapat menggunakan SQL untuk memilih data dari tabel yang dimuat. Ketika ada kesalahan, kueri tampilan sistem STL _ LOAD _ ERRORS untuk mendapatkan detail lebih lanjut. Untuk informasi tentang kesalahan COPY perintah, lihat STL_ LOAD _ ERRORS di Panduan Pengembang Database Amazon Redshift.

    Template COPY perintah yang digunakan untuk memuat data muncul di riwayat Query Anda. Template COPY perintah ini menunjukkan beberapa parameter yang digunakan, tetapi tidak dapat dijalankan langsung di tab editor. Untuk informasi selengkapnya tentang riwayat kueri, lihatMelihat kueri dan riwayat tab.

Saat Anda memuat data ke dalam tabel baru, editor kueri v2 pertama-tama membuat tabel di database, lalu memuat data sebagai tindakan terpisah dalam alur kerja yang sama.

Untuk memuat data file lokal ke dalam tabel baru

Administrator editor kueri v2 Anda harus menentukan bucket Amazon S3 umum di jendela Pengaturan akun. File lokal secara otomatis diunggah ke bucket Amazon S3 umum yang digunakan oleh akun Anda, dan kemudian perintah COPY tersebut digunakan oleh editor kueri v2 untuk memuat data. COPYPerintah yang dihasilkan dan dijalankan oleh editor kueri v2 memuat jendela file lokal mendukung banyak parameter yang tersedia untuk sintaks COPY perintah untuk disalin dari Amazon S3. Untuk informasi tentang COPY perintah dan opsinya yang digunakan untuk memuat data dari Amazon S3, lihat COPYdari Amazon S3 di Panduan Pengembang Database Amazon Redshift.

  1. Konfirmasikan bahwa Anda terhubung ke database target di panel tampilan pohon editor kueri v2. Anda dapat membuat koneksi menggunakan menu konteks (klik kanan) ke cluster atau workgroup tempat data akan dimuat.

  2. Pilih Load Muat data.

  3. Untuk Sumber data, pilih Muat dari file lokal.

  4. Pilih Browse untuk menemukan file yang berisi data untuk Memuat file. Secara default, file dengan ekstensi.csv, .avro.parquet, dan .orc ditampilkan, tetapi Anda dapat memilih jenis file lainnya. Ukuran file maksimum adalah 100 MB.

  5. Pilih format File untuk file yang akan diunggah. Format data yang didukung adalahCSV,JSON,DELIMITER,FIXEDWIDTH,SHAPEFILE,AVRO,PARQUET, danORC. Tergantung pada format file yang ditentukan, Anda dapat memilih opsi File masing-masing. Anda juga dapat memilih Data dienkripsi jika data dienkripsi dan masukkan Nama Sumber Daya Amazon (ARN) dari KMS kunci yang digunakan untuk mengenkripsi data.

    Jika Anda memilih CSV atauDELIMITER, Anda juga dapat memilih karakter Delimiter dan apakah akan Abaikan baris header jika jumlah baris yang ditentukan sebenarnya adalah nama kolom dan bukan data yang akan dimuat.

  6. (Opsional) Pengaturan lanjutan mendukung berbagai parameter konversi Data dan operasi Beban. Masukkan informasi ini sesuai kebutuhan untuk file Anda.

    Untuk informasi selengkapnya tentang konversi data dan parameter pemuatan data, lihat Parameter konversi data dan Operasi pemuatan data di Panduan Pengembang Database Amazon Redshift.

  7. Pilih Berikutnya.

  8. Pilih Muat tabel baru.

  9. Konfirmasikan atau pilih lokasi tabel Target termasuk Cluster atau workgroup, Database, dan Skema tempat data dimuat. Masukkan nama Tabel yang akan dibuat.

  10. Pilih Buat tabel untuk membuat tabel menggunakan definisi yang ditampilkan.

    Ringkasan tinjauan definisi tabel ditampilkan. Tabel dibuat dalam database. Untuk kemudian menghapus tabel, jalankan DROP TABLE SQL perintah. Untuk informasi selengkapnya, lihat DROPTABLEdi Panduan Pengembang Database Amazon Redshift.

  11. Pilih Muat data untuk memulai pemuatan data.

    Ketika beban selesai, pesan ditampilkan yang menunjukkan apakah beban berhasil atau tidak. Jika berhasil, Anda sekarang dapat menggunakan SQL untuk memilih data dari tabel yang dimuat. Ketika ada kesalahan, kueri tampilan sistem STL _ LOAD _ ERRORS untuk mendapatkan detail lebih lanjut. Untuk informasi tentang kesalahan COPY perintah, lihat STL_ LOAD _ ERRORS di Panduan Pengembang Database Amazon Redshift.

    Template COPY perintah yang digunakan untuk memuat data muncul di riwayat Query Anda. Template COPY perintah ini menunjukkan beberapa parameter yang digunakan, tetapi tidak dapat dijalankan langsung di tab editor. Untuk informasi selengkapnya tentang riwayat kueri, lihatMelihat kueri dan riwayat tab.