Menggunakan AWS Lake Formation dengan Amazon Athena - AWS Lake Formation
Support untuk format tabel transaksionalSumber daya tambahan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan AWS Lake Formation dengan Amazon Athena

Amazon Athena adalah layanan kueri tanpa server yang membantu Anda menganalisis data terstruktur, semi-terstruktur, dan tidak terstruktur yang disimpan di Amazon S3. Anda dapat menggunakan Athena SQL untuk menanyakan data dariCSV,, ParketJSON, dan format data Avro. Athena SQL juga mendukung format tabel seperti Apache Hive, ApacheHudi, dan Apache Iceberg. Athena terintegrasi dengan metadata AWS Glue Data Catalog untuk menyimpan kumpulan data Anda di Amazon S3. Athena dapat menggunakan Lake Formation untuk mendefinisikan dan memelihara kebijakan kontrol akses pada kumpulan data tersebut.

Berikut adalah beberapa kasus penggunaan umum di mana Anda dapat menggunakan Lake Formation dengan Athena.

  • Gunakan izin Lake Formation untuk mengakses sumber daya Katalog Data (database dan tabel) dari Athena. Anda dapat menggunakan salah satu metode sumber daya bernama atau LF-tag untuk menentukan izin pada database dan tabel. Untuk informasi selengkapnya, lihat:

    catatan

    Izin Lake Formation hanya berlaku saat menggunakan SQL Athena untuk menanyakan data sumber dari Amazon S3 dan metadata di Katalog Data.

    Athena Spark tidak mendukung kueri tabel Katalog Data dengan izin Lake Formation. Izin Lake Formation mendukung operasi baca dan tulis pada database dan tabel.

    catatan

    Anda tidak dapat menerapkan filter data saat menggunakan LF-tag untuk mengelola izin pada sumber daya Katalog Data.

  • Kontrol hasil kueri menggunakan Filter data di Lake Formation untuk mengamankan tabel di data lake Amazon S3 Anda dengan memberikan izin di kolom, baris, dan tingkat sel. Lihat batasan proyeksi partisi di Panduan Pengguna Amazon Athena.

  • Menerapkan kontrol akses berbutir halus pada data yang tersedia untuk pengguna SAML Athena berbasis saat menjalankan kueri federasi.

    Athena JDBC dan ODBC driver mendukung konfigurasi akses gabungan ke sumber data Anda menggunakan Penyedia Identitas SAML berbasis (iDP). Gunakan Amazon yang QuickSight terintegrasi dengan Lake Formation dengan IAM peran atau SAML pengguna atau grup yang ada untuk memvisualisasikan hasil kueri Athena.

    catatan

    Izin Lake Formation untuk SAML pengguna dan grup hanya akan berlaku ketika Anda mengirimkan kueri ke Athena menggunakan atau driver. JDBC ODBC

    Untuk informasi lebih lanjut, lihat Menggunakan Lake Formation dan Athena JDBC dan ODBC driver untuk akses federasi ke Athena.

    catatan

    Saat ini, otorisasi akses ke SAML identitas di Lake Formation tidak didukung di wilayah berikut:

    • Timur Tengah (Bahrain) - me-south-1

    • Asia Pasifik (Hong Kong) - ap-east-1

    • Afrika (Cape Town) - af-south-1

    • Tiongkok (Ningxia) - cn-barat laut-1

    • Asia Pasifik (Osaka) - ap-northeast-3

  • Gunakan Berbagi data lintas akun di Lake Formation untuk menanyakan tabel di akun lain.

catatan

Untuk informasi selengkapnya tentang batasan saat menggunakan izin Lake FormationViews, lihat Pertimbangan dan Batasan.

Support untuk format tabel transaksional

Menerapkan izin Lake Formation memungkinkan Anda mengamankan data transaksional di danau data berbasis Amazon S3. Tabel di bawah ini mencantumkan format tabel transaksional yang didukung di Athena dan izin Lake Formation. Lake Formation memberlakukan izin ini saat pengguna Athena menjalankan kueri mereka.

Format tabel Deskripsi dan operasi yang diizinkan Izin Lake Formation didukung di Athena

Apache Hudi

Format yang digunakan untuk menyederhanakan pemrosesan data tambahan dan pengembangan pipa data.

Athena mendukung operasi buat dan baca menggunakan format tabel Apache Hudi pada kumpulan data Amazon S3 untuk tipe tabel Copy on Write (CoW) dan Merge On Read (MoR) Hudi. Athena tidak mendukung operasi menulis pada tabel Hudi.

Gunakan Athena untuk menanyakan kumpulan data Hudi.

Gunakan Pemfilteran data dan keamanan tingkat sel di Lake Formation untuk mengamankan tabel Hudi menggunakan tabel, kolom, baris, dan izin tingkat sel.

Gunung Es Apache

Format tabel terbuka yang mengelola koleksi besar file sebagai tabel, dan mendukung operasi danau data analitik modern seperti penyisipan tingkat catatan, pembaruan, penghapusan, dan kueri perjalanan waktu.

Untuk informasi lebih lanjut tentang dukungan Athena untuk tabel Iceberg, lihat Menggunakan tabel Iceberg.

Izin tabel, kolom, baris, dan tingkat sel didukung. Saat ini, Lake Formation tidak mendukung pengelolaan izin pada operasi tulis seperti VACUUMMERGE, UPDATE dan OPTIMIZE pada tabel dalam Format Tabel Terbuka.

Yayasan Linux Delta Lake

Delta Lake adalah proyek sumber terbuka yang membantu mengimplementasikan arsitektur data lake modern yang biasanya dibangun di Amazon S3 atau Hadoop Distributed File System (). HDFS

Athena mendukung tabel danau Delta yang dibuat menggunakan definisi tabel manifes berbasis symlink dari tabel Delta Lake. AWS Glue Data Catalog

Untuk informasi selengkapnya, lihat tabel Crawl Delta Lake menggunakan AWS Glue crawler.

Athena (versi mesin 3) mendukung membaca tabel Delta Lake asli.

Untuk informasi selengkapnya, lihat Memperkenalkan dukungan tabel Delta Lake asli dengan AWS Glue crawler.

Izin tabel, kolom, baris, dan tingkat sel didukung untuk tabel symlink dan tabel Delta Lake asli.

Sumber daya tambahan

Posting blog, video, dan lokakarya