Pertimbangan untuk Amazon EMR dengan Formasi Danau

Fine-grained kontrol akses pada tingkat baris, kolom, dan sel tersedia di cluster dengan rilis Amazon EMR 6.15 dan lebih tinggi.

Pengguna dengan akses ke tabel dapat mengakses semua properti tabel itu. Jika Anda memiliki kontrol akses berbasis Formasi Danau pada tabel, tinjau tabel untuk memastikan bahwa properti tidak mengandung data atau informasi sensitif.

Cluster Amazon EMR dengan Lake Formation tidak mendukung fallback Spark ke HDFS saat Spark mengumpulkan statistik tabel. Ini biasanya membantu mengoptimalkan kinerja query.

Operasi yang mendukung kontrol akses berdasarkan Formasi Danau dengan tabel Apache Spark yang tidak diatur termasuk INSERT INTO danINSERT OVERWRITE.

Operasi yang mendukung kontrol akses berdasarkan Formasi Danau dengan Apache Spark dan Apache Hive meliputi SELECTDESCRIBE,SHOW DATABASE,SHOW TABLE,SHOW COLUMN,, danSHOW PARTITION.

Amazon EMR tidak mendukung kontrol akses ke operasi berbasis Formasi Danau berikut:

Ada perbedaan kinerja antara kueri yang sama dengan dan tanpa kontrol akses berbasis Danau Formasi.

Anda hanya dapat menggunakan Amazon EMR dengan Lake Formation untuk pekerjaan Spark.

Propagasi Identitas Tepercaya tidak didukung dengan hierarki multi-katalog di Katalog Data Glue. Untuk informasi selengkapnya, lihat Bekerja dengan hierarki multi-katalog di Katalog Data AWS Glue.

Amazon EMR mendukung kontrol akses halus melalui Lake Formation hanya untuk tabel Apache Hive, Apache Iceberg, Apache Delta, dan Apache Hudi. Format Apache Hive termasuk Parquet, ORC, dan XSV CSV.

Untuk aplikasi yang mendukung Lake Formation, log Spark ditulis ke Amazon S3 dalam dua kelompok: log ruang sistem dan log ruang pengguna. Log ruang sistem mungkin berisi informasi sensitif seperti skema tabel lengkap. Untuk melindungi data ini, Amazon EMR menyimpan log ruang sistem di lokasi terpisah dari log ruang pengguna. Sangat disarankan agar administrator akun tidak memberikan pengguna akses ke log ruang sistem.

Jika Anda mendaftarkan lokasi tabel dengan Lake Formation, akses data akan dikendalikan secara eksklusif oleh izin peran yang digunakan untuk pendaftaran, bukan oleh peran runtime pekerjaan Amazon EMR. Jika peran pendaftaran salah dikonfigurasi, pekerjaan yang mencoba mengakses tabel akan gagal.

Anda tidak dapat mematikan DynamicResourceAllocation untuk pekerjaan Formasi Danau.

Anda hanya dapat menggunakan Formasi Danau dengan pekerjaan Spark.

Amazon EMR dengan Lake Formation hanya mendukung satu sesi Spark selama pekerjaan.

Amazon EMR dengan Lake Formation hanya mendukung kueri tabel lintas akun yang dibagikan melalui tautan sumber daya.

Berikut ini tidak didukung:

Amazon EMR memblokir fungsionalitas yang mungkin merusak isolasi lengkap driver sistem, termasuk yang berikut:

Untuk menegakkan kontrol akses, EXPLAIN PLAN dan operasi DDL seperti DESCRIBE TABLE jangan mengekspos informasi terbatas.

Amazon EMR membatasi akses ke log Spark driver sistem pada aplikasi Lake Formation-enabled. Karena driver sistem berjalan dengan izin yang ditingkatkan, peristiwa dan log yang dihasilkan driver sistem dapat menyertakan informasi sensitif. Untuk mencegah pengguna atau kode yang tidak sah mengakses data sensitif ini, Amazon EMR menonaktifkan akses ke log driver sistem.

Log profil sistem selalu disimpan dalam penyimpanan terkelola — ini adalah pengaturan wajib yang tidak dapat dinonaktifkan. Log ini disimpan dengan aman dan dienkripsi menggunakan kunci KMS yang Dikelola Pelanggan atau kunci KMS AWS Terkelola.

Jika aplikasi Amazon EMR Anda berada di subnet pribadi dengan titik akhir VPC untuk Amazon S3 dan Anda melampirkan kebijakan titik akhir untuk mengontrol akses, sebelum pekerjaan Anda dapat mengirim data log ke Amazon S3 Terkel AWS ola, Anda harus menyertakan izin yang dirinci dalam Penyimpanan terkel ola dalam kebijakan VPC Anda ke titik akhir gateway S3. Untuk permintaan pemecahan masalah, hubungi AWS dukungan.

Jika Anda mendaftarkan lokasi tabel dengan Lake Formation, jalur akses data melewati kredensional yang disimpan Lake Formation terlepas dari izin IAM untuk peran runtime pekerjaan Amazon EMR. Jika Anda salah mengkonfigurasi peran yang terdaftar dengan lokasi tabel, pekerjaan yang dikirimkan yang menggunakan peran dengan izin S3 IAM ke lokasi tabel akan gagal.

Menulis ke tabel Formasi Danau menggunakan izin IAM daripada izin yang diberikan Formasi Danau. Jika peran runtime pekerjaan Anda memiliki izin S3 yang diperlukan, Anda dapat menggunakannya untuk menjalankan operasi penulisan.

Anda hanya dapat menggunakan Apache Iceberg dengan katalog sesi dan tidak diberi nama katalog secara sewenang-wenang.

Tabel gunung es yang terdaftar di Lake Formation hanya mendukung tabel metadatahistory,,metadata_log_entries,snapshots, filesmanifests, danrefs. Amazon EMR menyembunyikan kolom yang mungkin memiliki data sensitif, sepertipartitions,path, dansummaries. Batasan ini tidak berlaku untuk tabel Gunung Es yang tidak terdaftar di Formasi Danau.

Tabel yang tidak Anda daftarkan di Formasi Danau mendukung semua prosedur yang disimpan Gunung Es. migrateProsedur register_table dan tidak didukung untuk tabel apa pun.

Kami menyarankan Anda menggunakan Iceberg al DataFrameWriterV2 ih-alih V1.

Anda tidak dapat mematikan DynamicResourceAllocation untuk pekerjaan Formasi Danau.

Anda hanya dapat menggunakan Formasi Danau dengan pekerjaan Spark.

Amazon EMR dengan Lake Formation hanya mendukung satu sesi Spark selama pekerjaan.

Amazon EMR dengan Lake Formation hanya mendukung kueri tabel lintas akun yang dibagikan melalui tautan sumber daya.

Berikut ini tidak didukung:

Amazon EMR memblokir fungsionalitas yang mungkin merusak isolasi lengkap driver sistem, termasuk yang berikut:

Jika aplikasi Amazon EMR Anda berada di subnet pribadi dengan titik akhir VPC untuk Amazon S3 dan Anda melampirkan kebijakan titik akhir untuk mengontrol akses, sebelum pekerjaan Anda dapat mengirim data log ke Amazon S3 Terkel AWS ola, Anda harus menyertakan izin yang dirinci dalam Penyimpanan terkel ola dalam kebijakan VPC ke titik akhir gateway S3. Untuk permintaan pemecahan masalah, hubungi AWS dukungan.

Dimulai dengan Amazon EMR 7.9.0, Spark FGAC mendukung S3AFileSystem saat digunakan dengan skema s3a://.

Amazon EMR 7.11 mendukung pembuatan tabel terkelola menggunakan CTAS.

Amazon EMR 7.12 mendukung pembuatan tabel terkelola dan eksternal menggunakan CTAS.

Untuk menegakkan kontrol akses, operasi EXPLAIN PLAN dan DDL seperti DESCRIBE TABLE tidak mengekspos informasi terbatas.

Saat Anda mendaftarkan lokasi tabel dengan Lake Formation, akses data menggunakan kredentif tersimpan Lake Formation alih-alih izin IAM peran runtime pekerjaan EMR Serverless. Pekerjaan akan gagal jika peran terdaftar untuk lokasi tabel salah dikonfigurasi, bahkan ketika peran runtime memiliki izin S3 IAM untuk lokasi tersebut.

Dimulai dengan Amazon EMR 7.12, Anda dapat menulis ke tabel Hive dan Iceberg yang ada menggunakan DataFrameWriter (V2) dengan kredenSIAL Lake Formation dalam mode append. Untuk operasi overwrite atau saat membuat tabel baru, EMR menggunakan kredentif peran runtime untuk memodifikasi data tabel.

Batasan berikut berlaku saat menggunakan tampilan atau tabel cache sebagai data sumber (batasan ini tidak berlaku untuk tampilan Katalog Data AWS Glue):

Tabel Delta Lake dengan UDF dalam data sumber mendukung operasi MERGE, DELETE, dan UPDATE hanya ketika vektor penghapusan diaktifkan.

Amazon EMR membatasi akses ke log Spark driver sistem pada aplikasi Lake Formation-enabled. Karena driver sistem berjalan dengan izin yang ditingkatkan, peristiwa dan log yang dihasilkan driver sistem dapat menyertakan informasi sensitif. Untuk mencegah pengguna atau kode yang tidak sah mengakses data sensitif ini, Amazon EMR menonaktifkan akses ke log driver sistem.

Log profil sistem selalu disimpan dalam penyimpanan terkelola — ini adalah pengaturan wajib yang tidak dapat dinonaktifkan. Log ini disimpan dengan aman dan dienkripsi menggunakan kunci KMS yang Dikelola Pelanggan atau kunci KMS AWS Terkelola.

Anda hanya dapat menggunakan Apache Iceberg dengan katalog sesi dan tidak diberi nama katalog secara sewenang-wenang.

Tabel gunung es yang terdaftar di Lake Formation hanya mendukung tabel metadatahistory,,metadata_log_entries,snapshots, filesmanifests, danrefs. Amazon EMR menyembunyikan kolom yang mungkin memiliki data sensitif, sepertipartitions,path, dansummaries. Batasan ini tidak berlaku untuk tabel Gunung Es yang tidak terdaftar di Formasi Danau.

Tabel yang tidak terdaftar di Danau Formasi mendukung semua prosedur yang disimpan Gunung Es. migrateProsedur register_table dan tidak didukung untuk tabel apa pun.

Kami menyarankan Anda menggunakan Iceberg al DataFrameWriterV2 ih-alih V1.