Perlindungan data - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Perlindungan data

Model tanggung jawab AWS bersama berlaku untuk perlindungan data di Amazon EMR di EKS. Seperti yang dijelaskan dalam model AWS ini, bertanggung jawab untuk melindungi infrastruktur global yang menjalankan semua AWS Cloud. Anda bertanggung jawab untuk memelihara kendali terhadap konten yang di-hosting pada infrastruktur ini. Konten ini meliputi konfigurasi keamanan dan tugas manajemen untuk berbagai layanan AWS yang Anda gunakan. Untuk informasi selengkapnya tentang privasi data, lihat FAQ Privasi Data. Untuk informasi tentang perlindungan data di Eropa, lihat Model Tanggung Jawab AWS Bersama dan posting blog GDPR di Blog AWS Keamanan.

Untuk tujuan perlindungan data, kami menyarankan Anda untuk melindungi kredensyal AWS akun dan menyiapkan akun individual dengan AWS Identity and Access Management (IAM). Dengan cara ini, setiap pengguna hanya diberi izin yang diperlukan untuk memenuhi tanggung jawab tugas mereka. Kami juga merekomendasikan agar Anda mengamankan data Anda dengan cara-cara berikut ini:

  • Gunakan autentikasi multi-faktor (MFA) pada setiap akun.

  • Gunakan SSL/TLS untuk berkomunikasi dengan sumber daya. AWS Kami merekomendasikan TLS 1.2 atau versi yang lebih baru.

  • Siapkan API dan pencatatan aktivitas pengguna dengan AWS CloudTrail.

  • Gunakan solusi AWS enkripsi, bersama dengan semua kontrol keamanan default dalam AWS layanan.

  • Gunakan layanan keamanan terkelola tingkat lanjut seperti Amazon Macie, yang membantu menemukan dan mengamankan data pribadi yang disimpan di Amazon S3.

  • Gunakan opsi enkripsi Amazon EMR di EKS pada opsi enkripsi untuk mengenkripsi data at rest dan transit.

  • Jika Anda memerlukan modul kriptografi tervalidasi FIPS 140-2 saat mengakses AWS melalui antarmuka baris perintah atau API, gunakan titik akhir FIPS. Untuk informasi lebih lanjut tentang titik akhir FIPS yang tersedia, lihat Standar Pemrosesan Informasi Federal (FIPS) 140-2.

Kami sangat merekomendasikan agar Anda tidak memasukkan informasi identifikasi sensitif apapun, seperti nomor rekening pelanggan Anda, ke dalam kolom isian teks bebas seperti kolom Nama. Ini termasuk saat Anda bekerja dengan Amazon EMR di EKS atau AWS layanan lain menggunakan konsol, API AWS CLI, atau. AWS SDKs Data apa pun yang Anda masukkan ke dalam Amazon EMR di EKS atau layanan lain mungkin akan diambil untuk dimasukkan ke dalam log diagnostik. Saat Anda menyediakan URL ke peladen eksternal, jangan menyertakan informasi kredensial dalam URL untuk memvalidasi permintaan Anda ke peladen tersebut.

Enkripsi saat istirahat

Enkripsi data membantu mencegah pengguna yang tidak sah membaca data pada klaster dan sistem penyimpanan data terkait. Ini termasuk data yang disimpan ke media persisten, yang dikenal sebagai data at rest, dan data yang mungkin dicegat saat perjalanan jaringan, yang dikenal sebagai data dalam transit.

Enkripsi data memerlukan kunci dan sertifikat. Anda dapat memilih dari beberapa opsi, termasuk kunci yang dikelola oleh AWS Key Management Service, kunci yang dikelola oleh Amazon S3, dan kunci serta sertifikat dari penyedia khusus yang Anda berikan. Saat menggunakan AWS KMS sebagai penyedia kunci Anda, biaya berlaku untuk penyimpanan dan penggunaan kunci enkripsi. Untuk informasi lebih lanjut, lihat AWS KMS Harga.

Sebelum Anda menentukan opsi enkripsi, tentukan sistem manajemen kunci dan sertifikat yang ingin Anda gunakan. Kemudian buat kunci dan sertifikat untuk penyedia kustom yang Anda tentukan sebagai bagian dari pengaturan enkripsi.

Enkripsi saat istirahat untuk data EMRFS di Amazon S3

Enkripsi Amazon S3 bekerja dengan objek EMR File System (EMRFS) yang dibaca dari dan ditulis ke Amazon S3. Anda menentukan Amazon S3 server-side encryption (SSE) atau client-side encryption (CSE) sebagai Mode enkripsi default saat Anda mengaktifkan enkripsi saat istirahat. Secara opsional, Anda dapat menentukan metode enkripsi yang berbeda untuk setiap bucket menggunakan Per penimpaan enkripsi bucket. Keamanan Lapisan Pengangkutan (TLS) terlepas dari apakah enkripsi Amazon S3 diaktifkan, Keamanan Lapisan Pengangkutan (TLS) mengenkripsi objek EMRFS dalam transit antara simpul klaster EMR dan Amazon S3. Untuk informasi selengkapnya tentang enkripsi Amazon S3, lihat Melindungi Data Menggunakan Enkripsi di Panduan Developer Amazon Simple Storage Service.

catatan

Saat Anda menggunakan AWS KMS, biaya berlaku untuk penyimpanan dan penggunaan kunci enkripsi. Untuk informasi lebih lanjut, lihat AWS KMS Harga.

Enkripsi sisi server Amazon S3

Saat Anda mengatur enkripsi sisi server Amazon S3, Amazon S3 akan mengenkripsi data pada tingkat objek saat menulis data ke disk dan mendekripsi data saat diakses. Untuk informasi selengkapnya, lihat Melindungi Data Menggunakan Enkripsi Sisi Server di Panduan Developer Amazon Simple Storage Service.

Anda dapat memilih antara dua sistem pengelolaan kunci yang berbeda ketika Anda menentukan SSE di Amazon EMR di EKS:

  • SSE-S3 - Amazon S3 mengelola kunci untuk Anda.

  • SSE-KMS - Anda menggunakan AWS KMS key untuk mengatur dengan kebijakan yang sesuai untuk Amazon EMR di EKS.

SSE dengan kunci yang disediakan pelanggan (SSE-C) tidak tersedia untuk digunakan dengan Amazon EMR di EKS.

Enkripsi di sisi klien Amazon S3

Dengan enkripsi sisi klien Amazon S3, enkripsi dan dekripsi Amazon S3 dilakukan di klien EMRFS pada klaster Anda. Objek dienkripsi sebelum diunggah ke Amazon S3 dan didekripsi setelah diunduh. Penyedia yang Anda tentukan menyediakan kunci enkripsi yang digunakan klien. Klien dapat menggunakan kunci yang disediakan oleh AWS KMS (CSE-KMS) atau kelas Java kustom yang menyediakan kunci root sisi klien (CSE-C). Spesifikasi enkripsi sedikit berbeda antara CSE-KMS dan CSE-C, tergantung pada penyedia yang ditentukan dan metadata objek yang didekripsi atau dienkripsi. Untuk informasi selengkapnya, tentang perbedaan ini, lihat Melindungi Data Menggunakan Enkripsi Di Sisi Klien di Panduan Developer Amazon Simple Storage Service.

catatan

Amazon S3 CSE hanya memastikan bahwa data EMRFS yang dipertukarkan dengan Amazon S3 dienkripsi; tidak semua data pada volume instans klaster dienkripsi. Selain itu, karena Hue tidak menggunakan EMRFS, objek yang Hue S3 File Browser tulis ke Amazon S3 tidak dienkripsi.

Enkripsi disk lokal

Apache Spark mendukung mengenkripsi data sementara ditulis ke disk lokal. Ini mencakup file acak, spill acak, dan blok data yang disimpan pada disk untuk variabel baik caching maupun siaran. Ini tidak mencakup mengenkripsi data output yang dihasilkan oleh aplikasi dengan APIs seperti saveAsHadoopFile atau. saveAsTable Ini juga mungkin tidak mencakup file sementara yang dibuat secara eksplisit oleh pengguna. Untuk informasi selengkapnya, lihat Enkripsi Penyimpanan Lokal dalam dokumentasi Spark. Spark tidak mendukung data terenkripsi pada disk lokal, seperti data menengah yang ditulis ke disk lokal oleh proses eksekutor ketika data tidak cocok dalam memori. Data yang bertahan ke disk dicakup untuk waktu aktif tugas, dan kunci yang digunakan untuk mengenkripsi data dihasilkan secara dinamis oleh Spark untuk setiap tugas berjalan. Setelah pekerjaan Spark berakhir, tidak ada proses lain yang dapat mendekripsi data.

Untuk driver dan pod eksekutor, Anda mengenkripsi data at rest yang bertahan untuk volume terpasang. Ada tiga opsi penyimpanan AWS asli berbeda yang dapat Anda gunakan dengan Kubernetes: EBS, EFS, FSx dan untuk Lustre. Ketiganya menawarkan enkripsi saat istirahat menggunakan kunci yang dikelola layanan atau file AWS KMS key. Untuk informasi selengkapnya lihat Panduan Praktik Terbaik EKS. Dengan pendekatan ini, semua data yang disimpan ke volume terpasang dienkripsi.

Manajemen kunci

Anda dapat mengonfigurasi KMS untuk memutar tombol KMS Anda secara otomatis. Ini merotasi kunci Anda setahun sekali sambil menyimpan kunci lama tanpa batas waktu sehingga data Anda masih dapat didekripsi. Untuk informasi tambahan, lihat Memutar. AWS KMS keys

Enkripsi bergerak

Beberapa mekanisme enkripsi diaktifkan dengan enkripsi dalam transit. Ini adalah fitur sumber daya terbuka, khusus aplikasi, dan dapat bervariasi dengan rilis Amazon EMR di EKS. Fitur enkripsi khusus aplikasi berikut dapat diaktifkan dengan Amazon EMR di EKS:

  • Spark

    • Komunikasi RPC internal antara komponen Spark, seperti layanan transfer blok dan layanan shuffle eksternal, dienkripsi menggunakan cipher AES-256 di Amazon EMR versi 5.9.0 dan versi terbaru. Dalam rilis sebelumnya, komunikasi RPC internal dienkripsi menggunakan SASL dengan DIGEST- sebagai cipher. MD5

    • Komunikasi protokol HTTP dengan antarmuka pengguna seperti Spark History Server dan server file HTTPS-enabled dienkripsi menggunakan konfigurasi SSL Spark. Untuk informasi lebih lanjut, lihat Konfigurasi SSL di dokumentasi Spark.

    Untuk informasi lebih lanjut, lihat Pengaturan keamanan Spark.

  • Anda harus mengizinkan hanya koneksi terenkripsi melalui HTTPS (TLS) menggunakan aws: SecureTransport condition pada kebijakan IAM bucket Amazon S3.

  • Hasil kueri yang di-stream ke klien JDBC atau ODBC dienkripsi menggunakan TLS.