Opsi enkripsi untuk Amazon EMR - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Opsi enkripsi untuk Amazon EMR

Dengan Amazon EMR merilis 4.8.0 dan yang lebih tinggi, Anda dapat menggunakan konfigurasi keamanan untuk menentukan pengaturan untuk mengenkripsi data saat istirahat, data dalam perjalanan, atau keduanya. Saat mengaktifkan enkripsi data saat istirahat, Anda dapat memilih untuk mengenkripsi EMRFS data di Amazon S3, data di disk lokal, atau keduanya. Setiap konfigurasi keamanan yang Anda buat disimpan di Amazon dan EMR bukan di konfigurasi cluster, sehingga Anda dapat dengan mudah menggunakan kembali konfigurasi untuk menentukan pengaturan enkripsi data setiap kali Anda membuat klaster. Untuk informasi selengkapnya, lihat Buat konfigurasi keamanan dengan EMR konsol Amazon atau dengan AWS CLI.

Diagram berikut menunjukkan pilihan enkripsi data yang berbeda tersedia dengan konfigurasi keamanan.

Ada beberapa opsi enkripsi dalam transit dan istirahat yang tersedia dengan Amazon. EMR

Opsi enkripsi berikut juga tersedia dan tidak dikonfigurasi menggunakan konfigurasi keamanan:

catatan

Dimulai dengan Amazon EMR versi 5.24.0, Anda dapat menggunakan opsi konfigurasi keamanan untuk mengenkripsi perangkat EBS root dan volume penyimpanan saat Anda menentukan AWS KMS sebagai penyedia kunci Anda. Untuk informasi selengkapnya, lihat Enkripsi disk lokal.

Enkripsi data memerlukan kunci dan sertifikat. Konfigurasi keamanan memberi Anda fleksibilitas untuk memilih dari beberapa opsi, termasuk kunci yang dikelola oleh AWS Key Management Service, kunci yang dikelola oleh Amazon S3, serta kunci dan sertifikat dari penyedia khusus yang Anda berikan. Saat menggunakan AWS KMS sebagai penyedia kunci Anda, biaya berlaku untuk penyimpanan dan penggunaan kunci enkripsi. Untuk informasi lebih lanjut, lihat AWS KMS harga.

Sebelum Anda menentukan opsi enkripsi, tentukan kunci dan sistem pengelolaan sertifikat yang ingin Anda gunakan, sehingga Anda dapat terlebih dahulu membuat kunci dan sertifikat atau penyedia kustom yang Anda tentukan sebagai bagian dari pengaturan enkripsi.

Enkripsi saat istirahat untuk EMRFS data di Amazon S3

Enkripsi Amazon S3 berfungsi dengan objek Amazon EMR File System (EMRFS) yang dibaca dan ditulis ke Amazon S3. Anda menentukan enkripsi sisi server Amazon S3 (SSE) atau enkripsi sisi klien (CSE) sebagai mode enkripsi Default saat Anda mengaktifkan enkripsi saat istirahat. Secara opsional, Anda dapat menentukan metode enkripsi yang berbeda untuk setiap bucket menggunakan Per penimpaan enkripsi bucket. Terlepas dari apakah enkripsi Amazon S3 diaktifkan, Transport Layer Security (TLS) mengenkripsi EMRFS objek yang sedang transit antara node EMR cluster dan Amazon S3. Untuk informasi selengkapnya tentang enkripsi Amazon S3, lihat Melindungi data menggunakan enkripsi di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.

catatan

Saat Anda menggunakan AWS KMS, biaya berlaku untuk penyimpanan dan penggunaan kunci enkripsi. Untuk informasi lebih lanjut, lihat AWS KMS Harga.

Enkripsi sisi server Amazon S3

Saat Anda mengatur enkripsi sisi server Amazon S3, Amazon S3 akan mengenkripsi data pada tingkat objek saat menulis data ke disk dan mendekripsi data saat diakses. Untuk informasi selengkapnyaSSE, lihat Melindungi data menggunakan enkripsi sisi server di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.

Anda dapat memilih di antara dua sistem manajemen kunci yang berbeda saat Anda menentukan SSE di AmazonEMR:

  • SSE-S3 - Amazon S3 mengelola kunci untuk Anda.

  • SSE- KMS - Anda menggunakan AWS KMS key untuk mengatur dengan kebijakan yang cocok untuk AmazonEMR. Untuk informasi selengkapnya tentang persyaratan utama AmazonEMR, lihat Menggunakan AWS KMS keys untuk enkripsi.

SSEdengan kunci yang disediakan pelanggan (SSE-C) tidak tersedia untuk digunakan dengan Amazon. EMR

Enkripsi di sisi klien Amazon S3

Dengan enkripsi sisi klien Amazon S3, enkripsi dan dekripsi Amazon S3 berlangsung di klien di cluster Anda. EMRFS Objek dienkripsi sebelum diunggah ke Amazon S3 dan didekripsi setelah diunduh. Penyedia yang Anda tentukan menyediakan kunci enkripsi yang digunakan klien. Klien dapat menggunakan kunci yang disediakan oleh AWS KMS (CSE-KMS) atau kelas Java kustom yang menyediakan kunci root sisi klien (CSE-C). Spesifikasi enkripsi sedikit berbeda antara CSE - KMS dan CSE -C, tergantung pada penyedia yang ditentukan dan metadata objek yang didekripsi atau dienkripsi. Untuk informasi selengkapnya tentang perbedaan ini, lihat Melindungi data menggunakan enkripsi sisi klien di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.

catatan

Amazon S3 CSE hanya memastikan bahwa EMRFS data yang dipertukarkan dengan Amazon S3 dienkripsi; tidak semua data pada volume instans cluster dienkripsi. Selain itu, karena Hue tidak menggunakanEMRFS, objek yang ditulis oleh Browser File Hue S3 ke Amazon S3 tidak dienkripsi.

Enkripsi saat istirahat untuk data di Amazon EMR WAL

Saat Anda menyiapkan enkripsi sisi server (SSE) untuk write-ahead logging ()WAL, Amazon EMR mengenkripsi data saat istirahat. Anda dapat memilih dari dua sistem manajemen kunci yang berbeda saat Anda menentukan SSE di AmazonEMR:

SSE-EMR-WAL

Amazon EMR mengelola kunci untuk Anda. Secara default, Amazon EMR mengenkripsi data yang Anda simpan di Amazon EMR WAL SSE-EMR-WAL.

SSE-KMS-WAL

Anda menggunakan AWS KMS kunci untuk menyiapkan kebijakan yang berlaku untuk Amazon EMRWAL. Untuk informasi selengkapnya tentang persyaratan utama untuk AmazonEMR, lihatMenggunakan AWS KMS keys untuk enkripsi.

Anda tidak dapat menggunakan kunci Anda sendiri SSE ketika Anda mengaktifkan WAL dengan AmazonEMR. Untuk informasi selengkapnya, lihat Write-ahead logs (WAL) untuk Amazon. EMR

Enkripsi disk lokal

Mekanisme berikut bekerja sama untuk mengenkripsi disk lokal saat Anda mengaktifkan enkripsi disk lokal menggunakan konfigurasi EMR keamanan Amazon.

Enkripsi sumber terbuka HDFS

HDFSpertukaran data antara instance cluster selama pemrosesan terdistribusi. Itu juga membaca dari dan menulis data ke volume penyimpanan instance dan EBS volume yang dilampirkan ke instance. Opsi enkripsi Hadoop sumber terbuka berikut diaktifkan ketika Anda mengaktifkan enkripsi disk lokal:

catatan

Anda dapat mengaktifkan enkripsi Apache Hadoop tambahan dengan mengaktifkan enkripsi dalam transit. Untuk informasi selengkapnya, lihat Enkripsi bergerak. Pengaturan enkripsi ini tidak mengaktifkan enkripsi HDFS transparan, yang dapat Anda konfigurasi secara manual. Untuk informasi selengkapnya, lihat Enkripsi transparan HDFS di Amazon EMR di Panduan EMR Rilis Amazon.

Enkripsi penyimpanan instans

EC2Misalnya jenis yang menggunakan NVMe berbasis SSDs sebagai volume penyimpanan instans, NVMe enkripsi digunakan terlepas dari pengaturan EMR enkripsi Amazon. Untuk informasi selengkapnya, lihat NVMeSSDvolume di Panduan EC2 Pengguna Amazon. Untuk volume penyimpanan instans lainnya, Amazon EMR menggunakan LUKS untuk mengenkripsi volume penyimpanan instans saat enkripsi disk lokal diaktifkan terlepas dari apakah EBS volume dienkripsi menggunakan EBS enkripsi atau. LUKS

EBSenkripsi volume

Jika Anda membuat klaster di Wilayah tempat EC2 enkripsi EBS volume Amazon diaktifkan secara default untuk akun Anda, EBS volume akan dienkripsi meskipun enkripsi disk lokal tidak diaktifkan. Untuk informasi selengkapnya, lihat Enkripsi secara default di Panduan EC2 Pengguna Amazon. Dengan enkripsi disk lokal diaktifkan dalam konfigurasi keamanan, EMR pengaturan Amazon lebih diutamakan daripada EC2 encryption-by-default pengaturan Amazon untuk instance clusterEC2.

Opsi berikut tersedia untuk mengenkripsi EBS volume menggunakan konfigurasi keamanan:

  • EBSEnkripsi — Dimulai dengan Amazon EMR versi 5.24.0, Anda dapat memilih untuk mengaktifkan EBS enkripsi. Opsi EBS enkripsi mengenkripsi volume perangkat EBS root dan volume penyimpanan yang terpasang. Opsi EBS enkripsi hanya tersedia ketika Anda menentukan AWS Key Management Service sebagai penyedia kunci Anda. Kami merekomendasikan menggunakan EBS enkripsi.

  • LUKSenkripsi — Jika Anda memilih untuk menggunakan LUKS enkripsi untuk EBS volume Amazon, LUKS enkripsi hanya berlaku untuk volume penyimpanan terlampir, bukan untuk volume perangkat root. Untuk informasi selengkapnya tentang LUKS enkripsi, lihat spesifikasi LUKS on-disk.

    Untuk penyedia kunci, Anda dapat menyiapkan kebijakan AWS KMS key dengan yang sesuai untuk AmazonEMR, atau kelas Java kustom yang menyediakan artefak enkripsi. Saat Anda menggunakan AWS KMS, biaya berlaku untuk penyimpanan dan penggunaan kunci enkripsi. Untuk informasi selengkapnya, lihat harga AWS KMS.

catatan

Untuk memeriksa apakah EBS enkripsi diaktifkan pada cluster Anda, disarankan agar Anda menggunakan DescribeVolumes API panggilan. Untuk informasi lebih lanjut, lihat DescribeVolumes. Berjalan lsblk di cluster hanya akan memeriksa status LUKS enkripsi, bukan EBS enkripsi.

Enkripsi bergerak

Beberapa mekanisme enkripsi diaktifkan dengan enkripsi dalam transit. Ini adalah fitur sumber terbuka, khusus aplikasi, dan mungkin berbeda menurut rilis Amazon. EMR Fitur enkripsi khusus aplikasi berikut dapat diaktifkan menggunakan konfigurasi aplikasi Apache. Untuk informasi selengkapnya, lihat Mengkonfigurasi aplikasi.

Hadoop
HBase
Hive
  • JDBC/komunikasi ODBC klien dengan HiveServer 2 (HS2) dienkripsi menggunakan SSL konfigurasi di Amazon EMR rilis 6.9.0 dan yang lebih baru.

  • Untuk informasi selengkapnya, lihat bagian SSLenkripsi dokumentasi Apache Hive.

Spark
  • RPCKomunikasi internal antara komponen Spark, seperti layanan transfer blok dan layanan shuffle eksternal, dienkripsi menggunakan cipher AES -256 di Amazon versi 5.9.0 dan yang lebih baru. EMR Dalam rilis sebelumnya, RPC komunikasi internal dienkripsi menggunakan SASL dengan DIGEST - MD5 sebagai sandi.

  • HTTPkomunikasi protokol dengan antarmuka pengguna seperti Spark History Server dan server file HTTPS yang diaktifkan dienkripsi menggunakan konfigurasi Spark. SSL Untuk informasi selengkapnya, lihat SSLkonfigurasi dalam dokumentasi Spark.

  • Untuk informasi selengkapnya, lihat bagian Pengaturan keamanan Spark pada dokumentasi Apache Spark.

Tez
Presto
  • Komunikasi internal antara node Presto menggunakanSSL/TLS(Amazon EMR versi 5.6.0 dan yang lebih baru saja).

Anda menentukan artefak enkripsi yang digunakan untuk enkripsi dalam transit di salah satu dari dua cara: baik dengan menyediakan file zip sertifikat yang Anda upload ke Amazon S3, atau dengan referensi kelas Java kustom yang menyediakan artefak enkripsi. Untuk informasi selengkapnya, lihat Menyediakan sertifikat untuk mengenkripsi data dalam perjalanan dengan enkripsi Amazon EMR.