View a markdown version of this page

Pertimbangan dan batasan - Amazon EMR
UmumPerizinanLog dan debuggingGunung es

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pertimbangan dan batasan

Umum

Tinjau batasan berikut saat menggunakan Lake Formation dengan EMR Serverless.

catatan

Saat Anda mengaktifkan Lake Formation untuk pekerjaan Spark di EMR Serverless, pekerjaan meluncurkan driver sistem dan driver pengguna. Jika Anda menentukan kapasitas pra-inisialisasi saat peluncuran, penyediaan driver dari kapasitas pra-inisialisasi, dan jumlah driver sistem sama dengan jumlah driver pengguna yang Anda tentukan. Jika Anda memilih Kapasitas On Demand, EMR Serverless meluncurkan driver sistem selain driver pengguna. Untuk memperkirakan biaya yang terkait dengan pekerjaan EMR Serverless with Lake Formation Anda, gunakan. AWS Kalkulator Harga

  • Amazon EMR Serverless with Lake Formation tersedia di semua Wilayah Tanpa Server EMR yang didukung.

  • Dimulai dengan Amazon EMR 7.14.0, Formation-enabled aplikasi Lake mendukung penggunaan image tanpa server EMR khusus di ruang pengguna saja. Ruang sistem, yang memberlakukan kebijakan Formasi Danau, terus menggunakan image dasar EMR Serverless default. Dukungan ini juga berlaku untuk AWS runtime untuk baris rilis Apache Spark 8.x dimulai denganemr-spark-8.1.0. Gambar kustom dengan Lake Formation tidak didukung di Amazon EMR 7.13.0 dan rilis sebelumnya, atau di atasnya. emr-spark-8.0.0

  • Anda tidak dapat mematikan DynamicResourceAllocation untuk pekerjaan Formasi Danau.

  • Anda hanya dapat menggunakan Formasi Danau dengan pekerjaan Spark.

  • EMR Serverless dengan Lake Formation hanya mendukung satu sesi Spark selama pekerjaan.

  • EMR Serverless dengan Lake Formation hanya mendukung kueri tabel lintas akun yang dibagikan melalui tautan sumber daya.

  • Berikut ini tidak didukung:

    • Kumpulan data terdistribusi tangguh (RDD)

    • Streaming Spark

    • Kontrol akses untuk kolom bersarang

  • EMR Serverless memblokir fungsionalitas yang mungkin merusak isolasi lengkap driver sistem, termasuk yang berikut:

    • UDT, hiveUDFS, dan fungsi apa pun yang ditentukan pengguna yang melibatkan kelas khusus

    • Sumber data kustom

    • Pasokan stoples tambahan untuk ekstensi Spark, konektor, atau metastore

    • Perintah ANALYZE TABLE

  • Jika aplikasi EMR Serverless Anda berada di subnet pribadi dengan titik akhir VPC untuk Amazon S3 dan Anda melampirkan kebijakan titik akhir untuk mengontrol akses, sebelum pekerjaan Anda dapat mengirim data log ke Amazon S3 Terkel AWS ola, sertakan izin yang dirinci dalam Penyimpanan terkel ola dalam kebijakan VPC Anda ke titik akhir gateway S3. Untuk permintaan pemecahan masalah, hubungi AWS dukungan.

  • Dimulai dengan Amazon EMR 7.9.0, Spark FGAC mendukung S3AFileSystem saat digunakan dengan skema s3a://.

  • Amazon EMR 7.11 mendukung pembuatan tabel terkelola menggunakan CTAS.

  • Amazon EMR 7.12 mendukung pembuatan tabel terkelola dan eksternal menggunakan CTAS.

  • Dimulai dengan Amazon EMR 7.12, operasi DML dan DDL yang memodifikasi data tabel menggunakan kredentif Lake Formation. Di Amazon EMR 7.11 dan versi yang lebih lama, operasi ini (kecuali DELETE, UPDATE, dan MERGE) menggunakan kredenSIAL peran runtime pekerjaan untuk memodifikasi data tabel sebagai gantinya. Amazon EMR 7.11 dan versi yang lebih lama tidak mendukung operasi DELETE, UPDATE, dan MERGE.

  • Operasi DDL dan DML yang memodifikasi data tabel menggunakan Formation-vended kredenSIAL AWS Lake hanya mendukung S3A. Saat Anda menggunakan EMRFS, kredentif peran runtime pekerjaan berlaku sebagai gantinya.

  • EMR Serverless dengan Lake Formation tidak mendukung membaca dari atau menulis ke tabel yang menunjuk ke lokasi non-S3.

Perizinan

  • Untuk menegakkan kontrol akses, operasi EXPLAIN PLAN dan DDL seperti DESCRIBE TABLE tidak mengekspos informasi terbatas.

  • Saat Anda mendaftarkan lokasi tabel dengan Lake Formation, akses data menggunakan kredentif tersimpan Lake Formation alih-alih izin IAM peran runtime pekerjaan EMR Serverless. Pekerjaan akan gagal jika peran terdaftar untuk lokasi tabel salah dikonfigurasi, bahkan ketika peran runtime memiliki izin S3 IAM untuk lokasi tersebut.

  • Dimulai dengan Amazon EMR 7.12, Anda dapat menulis ke tabel Hive dan Iceberg yang ada menggunakan DataFrameWriter (V2) dengan kredenSIAL Lake Formation dalam mode append. Untuk operasi overwrite atau saat membuat tabel baru, EMR menggunakan kredentif peran runtime untuk memodifikasi data tabel.

  • Batasan berikut berlaku saat menggunakan tampilan atau tabel cache sebagai data sumber (batasan ini tidak berlaku untuk tampilan Katalog Data AWS Glue):

    • Untuk operasi MERGE, DELETE, dan UPDATE

      • Didukung: Menggunakan tampilan dan tabel cache sebagai tabel sumber.

      • Tidak didukung: Menggunakan tampilan dan tabel cache dalam klausa penugasan dan kondisi.

    • Untuk operasi BUAT ATAU GANTI dan GANTI TABEL SEBAGAI SELECT:

      • Tidak didukung: Menggunakan tampilan dan tabel cache sebagai tabel sumber.

  • Tabel Delta Lake dengan UDF dalam data sumber mendukung operasi MERGE, DELETE, dan UPDATE hanya ketika vektor penghapusan diaktifkan.

Log dan debugging

  • EMR Serverless membatasi akses ke driver sistem log Spark pada aplikasi Lake. Formation-enabled Karena driver sistem berjalan dengan izin yang ditingkatkan, peristiwa dan log yang dihasilkan driver sistem dapat menyertakan informasi sensitif. Untuk mencegah pengguna atau kode yang tidak sah mengakses data sensitif ini, EMR Serverless menonaktifkan akses ke log driver sistem.

  • Log profil sistem selalu disimpan dalam penyimpanan terkelola — ini adalah pengaturan wajib yang tidak dapat dinonaktifkan. Log ini disimpan dengan aman dan dienkripsi menggunakan kunci KMS yang Dikelola Pelanggan atau kunci KMS AWS Terkelola.

Gunung es

Tinjau pertimbangan berikut saat menggunakan Apache Iceberg:

  • Anda hanya dapat menggunakan Apache Iceberg dengan katalog sesi dan tidak diberi nama katalog secara sewenang-wenang.

  • Tabel gunung es yang terdaftar di Lake Formation hanya mendukung tabel metadatahistory,,metadata_log_entries,snapshots, filesmanifests, danrefs. Amazon EMR menyembunyikan kolom yang mungkin memiliki data sensitif, sepertipartitions,path, dansummaries. Batasan ini tidak berlaku untuk tabel Gunung Es yang tidak terdaftar di Formasi Danau.

  • Tabel yang tidak terdaftar di Danau Formasi mendukung semua prosedur yang disimpan Gunung Es. migrateProsedur register_table dan tidak didukung untuk tabel apa pun.

  • Kami menyarankan Anda menggunakan Iceberg al DataFrameWriterV2 ih-alih V1.