Pertimbangan dan batasan - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pertimbangan dan batasan

Pertimbangkan pertimbangan dan batasan berikut saat Anda menggunakan Lake Formation with EMR Serverless.

catatan

Saat Anda mengaktifkan Lake Formation untuk pekerjaan Spark di EMR Tanpa Server, pekerjaan tersebut meluncurkan driver sistem dan driver pengguna. Jika Anda menentukan kapasitas pra-inisialisasi saat peluncuran, ketentuan driver dari kapasitas pra-inisialisasi, dan jumlah driver sistem sama dengan jumlah driver pengguna yang Anda tentukan. Jika Anda memilih kapasitas On Demand, EMR Serverless meluncurkan driver sistem selain driver pengguna. Untuk memperkirakan biaya yang terkait dengan pekerjaan EMR Tanpa Server dengan Lake Formation Anda, gunakan. AWS Pricing Calculator

Amazon EMR Tanpa Server dengan Lake Formation tersedia di semua Wilayah EMR Tanpa Server yang didukung kecuali AWS GovCloud (AS-Timur) dan (AS-Barat). AWS GovCloud

  • Amazon EMR Serverless mendukung kontrol akses berbutir halus melalui Lake Formation hanya untuk tabel Apache Hive dan Apache Iceberg. Format Apache Hive termasuk Parket,ORC, dan xSV.

  • Aplikasi yang mendukung Lake Formation tidak mendukung penggunaan gambar Tanpa EMRServer yang disesuaikan.

  • Anda tidak dapat mematikan DynamicResourceAllocation untuk pekerjaan Lake Formation.

  • Anda hanya dapat menggunakan Lake Formation dengan pekerjaan Spark.

  • EMRTanpa server dengan Lake Formation hanya mendukung satu sesi Spark selama pekerjaan.

  • EMRTanpa server dengan Lake Formation hanya mendukung kueri tabel lintas akun yang dibagikan melalui tautan sumber daya.

  • Berikut ini tidak didukung:

    • Kumpulan data terdistribusi yang tangguh () RDD

    • Streaming percikan

    • Menulis dengan izin yang diberikan Lake Formation

    • Kontrol akses untuk kolom bersarang

  • EMRTanpa server memblokir fungsionalitas yang mungkin merusak isolasi lengkap driver sistem, termasuk yang berikut ini:

    • UDTs, HiveUDFs, dan fungsi apa pun yang ditentukan pengguna yang melibatkan kelas khusus

    • Sumber data kustom

    • Pasokan stoples tambahan untuk ekstensi Spark, konektor, atau metastore

    • Perintah ANALYZE TABLE

  • Untuk menegakkan kontrol akses, EXPLAIN PLAN dan DDL operasi seperti DESCRIBE TABLE tidak mengekspos informasi terbatas.

  • EMRTanpa server membatasi akses ke driver sistem Spark log pada aplikasi yang mendukung Lake Formation. Karena driver sistem berjalan dengan lebih banyak akses, peristiwa dan log yang dihasilkan driver sistem dapat mencakup informasi sensitif. Untuk mencegah pengguna atau kode yang tidak sah mengakses data sensitif ini, EMR Tanpa Server menonaktifkan akses ke log driver sistem. Untuk pemecahan masalah, hubungi AWS dukungan.

  • Jika Anda mendaftarkan lokasi tabel dengan Lake Formation, jalur akses data akan melewati kredensil yang disimpan Lake Formation terlepas dari IAM izin untuk peran runtime pekerjaan EMR Tanpa Server. Jika Anda salah mengonfigurasi peran yang terdaftar dengan lokasi tabel, pekerjaan yang dikirimkan yang menggunakan peran dengan IAM izin S3 ke lokasi tabel akan gagal.

  • Menulis ke tabel Lake Formation menggunakan IAM izin daripada izin yang diberikan Lake Formation. Jika peran runtime pekerjaan Anda memiliki izin S3 yang diperlukan, Anda dapat menggunakannya untuk menjalankan operasi penulisan.

Berikut ini adalah pertimbangan dan batasan saat menggunakan Apache Iceberg:

  • Anda hanya dapat menggunakan Apache Iceberg dengan katalog sesi dan tidak sewenang-wenang bernama katalog.

  • Tabel gunung es yang terdaftar di Lake Formation hanya mendukung tabel metadatahistory,,,, metadata_log_entriessnapshots, files dan. manifests refs Amazon EMR menyembunyikan kolom yang mungkin memiliki data sensitif, sepertipartitions,path, dansummaries. Batasan ini tidak berlaku untuk tabel Gunung Es yang tidak terdaftar di Lake Formation.

  • Tabel yang tidak Anda daftarkan di Lake Formation mendukung semua prosedur yang disimpan Gunung Es. Prosedur register_table dan migrate prosedur tidak didukung untuk tabel apa pun.

  • Kami menyarankan Anda menggunakan Iceberg DataFrameWriter V2 alih-alih V1.