Menanyakan data lake - Amazon Redshift
Demo: Kueri data lakePrasyaratMembuat skema eksternal Mengkueri data di data lake Amazon S3 Anda

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menanyakan data lake

Anda dapat membuat kueri data di danau data Amazon S3. Pertama, Anda membuat skema eksternal untuk referensi database eksternal di AWS Glue Data Catalog. Kemudian, Anda dapat melakukan kueri data di data lake Amazon S3.

Demo: Kueri data lake

Untuk mempelajari cara membuat kueri data lake, tonton video berikut.

Prasyarat

Sebelum Anda bekerja dengan data lake di editor kueri v2, konfirmasikan hal berikut telah diatur di lingkungan Amazon Redshift Anda:

  • Perayapi data Amazon S3 Anda menggunakanAWS Glue dan mengaktifkan Katalog Data AndaAWS Lake Formation.

  • Buat peran IAM untuk Amazon Redshift menggunakan Katalog Data yangAWS Glue diaktifkan untukAWS Lake Formation. Untuk detail tentang prosedur ini, lihat Untuk membuat peran IAM untuk Amazon Redshift menggunakanAWS Glue Data Catalog diaktifkan untukAWS Lake Formation. Untuk informasi selengkapnya tentang penggunaan Redshift Spectrum dan Lake Formation, lihat Menggunakan Redshift Spectrum denganAWS Lake Formation.

  • Berikan izin SELECT pada tabel untuk query dalam database Lake Formation. Untuk rincian tentang prosedur ini, lihat Untuk memberikan izin SELECT pada tabel untuk query dalam database Lake Formation.

    Anda dapat memverifikasi di konsol Lake Formation (https://console.aws.amazon.com/lakeformation/), bagian Izin, halaman izin danau data, bahwa peran IAM,AWS Glue database, dan tabel memiliki izin yang tepat.

  • Konfirmasikan pengguna Anda yang terhubung memiliki izin untuk membuat skema di database Amazon Redshift dan mengakses data di data lake Anda. Saat Anda terhubung ke database di editor kueri v2, Anda memilih metode otentikasi yang menyertakan kredensil, yang dapat berupa pengguna database atau pengguna IAM. Pengguna yang terhubung harus memiliki hak akses dan database yang tepat, sepertisuperuser. adminPengguna Amazon Redshift yang membuat klaster atau grup kerja memilikisuperuser hak istimewa dan dapat membuat skema dan mengelola database Redshift. Untuk informasi selengkapnya tentang menghubungkan ke database dengan editor kueri v2, lihatMenghubungkan ke database Amazon Redshift.

Membuat skema eksternal

Untuk membuat kueri data dalam danau data Amazon S3, buat skema eksternal. Skema eksternal referensi database eksternal di AWS Glue Data Catalog.

  1. Dalam tampilan Editor editor kueri v2, pilihCreate Buat, lalu pilih Skema.

  2. Masukkan nama Skema.

  3. Untuk jenis Skema, pilih Eksternal.

  4. Dalam rincian Data Catalog, Region default keWilayah AWS tempat database Redshift Anda berada.

  5. Pilih AWS Gluedatabase yang akan dipetakan oleh skema eksternal dan yang berisi referensi keAWS Glue tabel.

  6. Pilih peran IAM untuk Amazon Redshift yang memiliki izin yang diperlukan untuk melakukan kueri data di Amazon S3.

  7. Secara opsional, pilih peran IAM yang memiliki izin ke Katalog Data.

  8. Pilih Buat skema.

    Skema muncul di bawah database Anda di panel tampilan pohon.

Saat membuat skema, jika Anda menerima izin ditolak kesalahan untuk database Anda, periksa apakah pengguna yang terhubung memiliki hak database untuk membuat skema.

Mengkueri data di data lake Amazon S3 Anda

Anda menggunakan skema yang Anda buat dalam prosedur sebelumnya.

  1. Di panel tampilan pohon, pilih skema.

  2. Untuk melihat definisi tabel, pilih tabel. Kolom tabel dan tipe data ditampilkan.

  3. Untuk query tabel, pilih tabel dan dalam menu konteks (klik kanan), pilih Pilih tabel untuk menghasilkan query.

  4. Jalankan kueri di Editor.

    Contoh berikut SQL dihasilkan oleh query editor v2 untuk query semua baris dalamAWS Glue tabel bernamaflightscsv. Kolom dan baris yang ditunjukkan dalam output dipotong agar memudahkan.

    SELECT * FROM "dev"."mydatalake_schema"."flightscsv";
                        
year    quarter   month   dom  day_of_week   fl_date    unique_carrier  airline_id   carrier   tail_num   fl_num		
2016    4         10      19   3             10/19/16   OO              20304        OO         N753SK    3086	 
2016    4         10      19   3             10/19/16   OO              20304        OO         N753SK    3086	
2016    4         10      19   3             10/19/16   OO              20304        OO         N778SK    3087		
2016	4         10      19   3             10/19/16   OO              20304        OO         N778SK    3087	
...