Menanyakan data lake Anda

Anda dapat menggunakan Amazon Redshift Spectrum untuk menanyakan data di file Amazon S3 tanpa harus memuat data ke dalam tabel Amazon Redshift. Amazon Redshift menyediakan SQL kemampuan yang dirancang untuk pemrosesan analitik online cepat (OLAP) kumpulan data yang sangat besar yang disimpan di cluster Amazon Redshift dan danau data Amazon S3. Anda dapat menanyakan data dalam banyak format, termasuk Parket,ORC,RCFile, TextFile, SequenceFile RegexSerde, BukaCSV, danAVRO. Untuk menentukan struktur file di Amazon S3, Anda membuat skema dan tabel eksternal. Kemudian, Anda menggunakan katalog data eksternal seperti AWS Glue atau metastore Apache Hive Anda sendiri. Perubahan pada salah satu jenis katalog data segera tersedia untuk salah satu cluster Amazon Redshift Anda.

Setelah data Anda terdaftar dengan Katalog AWS Glue Data dan diaktifkan AWS Lake Formation, Anda dapat melakukan kueri dengan menggunakan Redshift Spectrum.

Redshift Spectrum berada di server Amazon Redshift khusus yang independen dari cluster Anda. Redshift Spectrum mendorong banyak tugas komputasi intensif, seperti penyaringan predikat dan agregasi, ke lapisan Redshift Spectrum. Redshift Spectrum juga menskalakan secara cerdas untuk memanfaatkan pemrosesan paralel secara masif.

Anda dapat mempartisi tabel eksternal pada satu atau lebih kolom untuk mengoptimalkan kinerja kueri melalui penghapusan partisi. Anda dapat menanyakan dan menggabungkan tabel eksternal dengan tabel Amazon Redshift. Anda dapat mengakses tabel eksternal dari beberapa kluster Amazon Redshift dan menanyakan data Amazon S3 dari cluster mana pun di Wilayah yang sama. AWS Saat Anda memperbarui file data Amazon S3, data akan segera tersedia untuk kueri dari salah satu cluster Amazon Redshift Anda.

Untuk informasi selengkapnya tentang Redshift Spectrum, termasuk cara bekerja dengan Redshift Spectrum dan data lake, lihat Memulai Amazon Redshift Spectrum di Amazon Redshift Database Developer Guide.