Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memahami enkripsi dalam transit

Anda dapat mengonfigurasi cluster EMR untuk menjalankan kerangka kerja sumber terbuka seperti Apache Spark, Apache Hive, dan Presto. masing-masing kerangka kerja sumber terbuka ini memiliki serangkaian proses yang berjalan pada instans EC2 dari sebuah cluster. Masing-masing proses ini dapat meng-host titik akhir jaringan untuk komunikasi jaringan.

Jika enkripsi dalam transit diaktifkan pada cluster EMR, titik akhir jaringan yang berbeda menggunakan mekanisme enkripsi yang berbeda. Lihat bagian berikut untuk mempelajari lebih lanjut tentang titik akhir jaringan kerangka kerja sumber terbuka tertentu yang didukung dengan enkripsi dalam transit, mekanisme enkripsi terkait, dan rilis Amazon EMR mana yang menambahkan dukungan. Setiap aplikasi open-source mungkin juga memiliki praktik terbaik yang berbeda dan konfigurasi kerangka kerja sumber terbuka yang dapat Anda ubah.

Untuk cakupan enkripsi in-transit yang paling banyak, sebaiknya aktifkan enkripsi in-transit dan Kerberos. Jika Anda hanya mengaktifkan enkripsi dalam transit, maka enkripsi dalam transit hanya akan tersedia untuk titik akhir jaringan yang mendukung TLS. Kerberos diperlukan karena beberapa titik akhir jaringan kerangka kerja sumber terbuka menggunakan Simple Authentication and Security Layer (SASL) untuk enkripsi dalam transit.

Perhatikan bahwa kerangka kerja sumber terbuka apa pun yang tidak didukung dalam rilis Amazon EMR 7.x.x tidak disertakan.

Spark

Bila Anda mengaktifkan enkripsi dalam transit dalam konfigurasi keamanan, secara otomatis spark.authenticate disetel ke true dan menggunakan AES-based enkripsi untuk koneksi RPC.

Dimulai dengan Amazon EMR 7.3.0, jika Anda menggunakan enkripsi dalam transit dan otentikasi Kerberos, Anda tidak dapat menggunakan aplikasi Spark yang bergantung pada metastore Hive. Hive 3 memperbaiki masalah ini di HIVE-16340. HIVE-44114sepenuhnya menyelesaikan masalah ini ketika Spark open-source dapat meningkatkan ke Hive 3. Sementara itu, Anda dapat hive.metastore.use.SSL mengatur false untuk mengatasi masalah ini. Untuk informasi selengkapnya, lihat Meng onfigurasi aplikasi.

Untuk informasi selengkapnya, lihat keamanan Spark di dokumentasi Apache Spark.

¹ spark.shuffle.service.port dihosting di YARN NodeManager tetapi hanya digunakan oleh Apache Spark.

Masalah yang diketahui

Pada intransit, spark.yarn.historyServer.address konfigurasi cluster yang diaktifkan saat ini menggunakan port18080, yang mencegah akses ke UI aplikasi spark menggunakan URL pelacakan YARN. Mempengaruhi Versi: EMR - 7.3.0 ke EMR - 7.9.0.

Gunakan solusi berikut:

Contoh konfigurasi:

[
                               {
                                 "Classification": "spark-defaults",
                                 "Properties": {
                                     "spark.yarn.historyServer.address": "${hadoopconf-yarn.resourcemanager.hostname}:18480"
                                 }
                               }
  
                               ]

BENANG Hadoop

Secure Hadoop RPC diatur ke privacy dan menggunakan enkripsi SASL-based dalam transit. Ini mengharuskan otentikasi Kerberos diaktifkan dalam konfigurasi keamanan. Jika Anda tidak ingin enkripsi dalam transit untuk Hadoop RPC, konfigurasikan. hadoop.rpc.protection = authentication Kami menyarankan Anda menggunakan konfigurasi default untuk keamanan maksimum.

Jika sertifikat TLS Anda tidak dapat memenuhi persyaratan verifikasi nama host TLS, Anda dapat mengonfigurasi. hadoop.ssl.hostname.verifier = ALLOW_ALL Sebaiknya gunakan konfigurasi defaulthadoop.ssl.hostname.verifier = DEFAULT, yang memberlakukan verifikasi nama host TLS.

Untuk menonaktifkan HTTPS untuk titik akhir aplikasi web YARN, konfigur yarn.http.policy = HTTP_ONLY asikan. Ini membuatnya sehingga lalu lintas ke titik akhir ini tetap tidak dienkripsi. Kami menyarankan Anda menggunakan konfigurasi default untuk keamanan maksimum.

Untuk informasi selengkapnya, lihat Hadoop dalam mode aman di dokumentasi Apache Hadoop.

¹ mapreduce.shuffle.port dihosting di YARN NodeManager tetapi hanya digunakan oleh Hadoop MapReduce.

² spark.shuffle.service.port dihosting di YARN NodeManager tetapi hanya digunakan oleh Apache Spark.

Masalah yang diketahui

yarn.log.server.urlKonfigurasi saat ini menggunakan HTTP dengan port 19888, yang mencegah akses ke log aplikasi dari UI Resource Manager. Mempengaruhi Versi: EMR - 7.3.0 ke EMR - 7.8.0.

Gunakan solusi berikut:

Hadoop HDFS

Node nama Hadoop, node data, dan node jurnal semuanya mendukung TLS secara default jika enkripsi dalam transit diaktifkan di cluster EMR.

Secure Hadoop RPC diatur ke privacy dan menggunakan enkripsi SASL-based dalam transit. Ini mengharuskan otentikasi Kerberos diaktifkan dalam konfigurasi keamanan.

Sebaiknya jangan mengubah port default yang digunakan untuk titik akhir HTTPS.

Enkripsi data pada transfer blok HDFS menggunakan AES 256 dan mengharuskan enkripsi diam diaktifkan dalam konfigurasi keamanan.

Untuk informasi selengkapnya, lihat Hadoop dalam mode aman di dokumentasi Apache Hadoop.

Hadoop MapReduce

Hadoop MapReduce, server riwayat pekerjaan, dan MapReduce shuffle semua mendukung TLS secara default saat enkripsi dalam transit diaktifkan di cluster EMR.

Shuffle MapReduce terenkripsi Hadoop menggunakan TLS.

Sebaiknya Anda tidak mengubah port default untuk titik akhir HTTPS.

Untuk informasi selengkapnya, lihat Hadoop dalam mode aman di dokumentasi Apache Hadoop.

¹ mapreduce.shuffle.port dihosting di YARN NodeManager tetapi hanya digunakan oleh Hadoop MapReduce.

Presto

Di Amazon EMR rilis 5.6.0 dan yang lebih tinggi, komunikasi internal antara koordinator Presto dan pekerja menggunakan TLS Amazon EMR menyiapkan semua konfigurasi yang diperlukan untuk memungkinkan komunikasi internal yang aman di Presto.

Jika konektor menggunakan metastore Hive sebagai penyimpanan metadata, komunikasi antara komunikator dan metastore Hive juga dienkripsi dengan TLS.

Trino

Di Amazon EMR rilis 6.1.0 dan yang lebih tinggi, komunikasi internal antara koordinator Presto dan pekerja menggunakan TLS Amazon EMR menyiapkan semua konfigurasi yang diperlukan untuk memungkinkan komunikasi internal yang aman di Trino.

Jika konektor menggunakan metastore Hive sebagai penyimpanan metadata, komunikasi antara komunikator dan metastore Hive juga dienkripsi dengan TLS.

Hive dan Tez

Secara default, server Hive 2, server metastore Hive, UI web Hive LLAP Daemon, dan Hive LLAP shuffle semuanya mendukung TLS saat enkripsi in-transit diaktifkan di cluster EMR. Untuk informasi selengkapnya tentang konfigurasi Hive, lihat Properti konfigurasi.

UI Tez yang dihosting di server Tomcat juga HTTPS-enabled saat enkripsi in-transit diaktifkan di cluster EMR. Namun, HTTPS dinonaktifkan untuk layanan UI web Tez AM sehingga pengguna AM tidak memiliki akses ke file keystore untuk pembuka pendengar SSL. Anda juga dapat mengaktifkan perilaku ini dengan konfigurasi tez.am.tez-ui.webservice.enable.ssl Boolean dan. tez.am.tez-ui.webservice.enable.client.auth

Flink

Titik akhir Apache Flink REST dan komunikasi internal antara proses flink mendukung TLS secara default saat Anda mengaktifkan enkripsi dalam transit di cluster EMR.

security.ssl.internal.enableddiatur ke true dan menggunakan enkripsi dalam transit untuk komunikasi internal antara proses Flink. Jika Anda tidak ingin enkripsi dalam transit untuk komunikasi internal, nonaktifkan konfigurasi itu. Kami menyarankan Anda menggunakan konfigurasi default untuk keamanan maksimum.

Amazon EMR menyetel security.ssl.rest.enabled ke true dan menggunakan enkripsi dalam transit untuk titik akhir REST. Selain itu, Amazon EMR juga diatur historyserver.web.ssl.enabled ke true untuk menggunakan komunikasi TLS dengan server riwayat Flink. Jika Anda tidak ingin enkripsi dalam transit untuk titik REST, nonaktifkan konfigurasi ini. Kami menyarankan Anda menggunakan konfigurasi default untuk keamanan maksimum.

Amazon EMR menggun security.ssl.algorithms akan. untuk menentukan daftar sandi yang menggunakan enkripsi. AES-based Ganti konfigurasi ini untuk menggunakan sandi yang Anda inginkan.

Untuk informasi selengkapnya, lihat Pengaturan SSL di dokumentasi Flink.

HBase

Amazon EMR menetapkan Secure Hadoop R PC ke. privacy HMaster dan RegionServer gunakan enkripsi SASL-based dalam transit. Ini mengharuskan otentikasi Kerberos diaktifkan dalam konfigurasi keamanan.

Amazon EMR disetel hbase.ssl.enabled ke true dan menggunakan TLS untuk titik akhir UI. Jika Anda tidak ingin menggunakan TLS untuk titik akhir UI, nonaktifkan konfigurasi ini. Kami menyarankan Anda menggunakan konfigurasi default untuk keamanan maksimum.

Amazon EMR menyetel hbase.rest.ssl.enabled dan hbase.thrift.ssl.enabled dan menggunakan TLS untuk titik akhir server REST dan Thirft, masing-masing. Jika Anda tidak ingin menggunakan TLS untuk titik akhir ini, nonaktifkan konfigurasi ini. Kami menyarankan Anda menggunakan konfigurasi default untuk keamanan maksimum.

Dimulai dengan EMR 7.6.0, TLS didukung pada HMaster dan titik akhir. RegionServer Amazon EMR juga menetapkan hbase.server.netty.tls.enabled danhbase.client.netty.tls.enabled. Jika Anda tidak ingin menggunakan TLS untuk titik akhir ini, nonaktifkan konfigurasi ini. Kami menyarankan Anda menggunakan konfigurasi default, yang menyediakan enkripsi dan dengan demikian keamanan yang lebih tinggi. Untuk mempelajari selengkapnya, lihat Transport Level Security (TLS) dalam komunikasi HBase RPC di Panduan Referensi Apache HBase.

Phoenix

Jika Anda mengaktifkan enkripsi dalam transit di cluster EMR Anda, Phoenix Query Servermendukung properti TLSphoenix.queryserver.tls.enabled, yang disetel ke secara default. true

Untuk mempelajari selengkapnya, lihat Konfigurasi yang berkaitan dengan HTTPS dalam dokumentasi Phoenix Query Server.

Oozie

OOZIE-3673tersedia di Amazon EMR jika Anda menjalankan Oozie di Amazon EMR 7.3.0 dan lebih tinggi. Jika Anda perlu mengonfigurasi protokol SSL atau TLS kustom saat menjalankan tindakan email, Anda dapat mengatur properti oozie.email.smtp.ssl.protocols dalam oozie-site.xml file. Secara default, jika Anda mengaktifkan enkripsi dalam transit, Amazon EMR menggunakan protokol TLS v1.3.

OOZIE-3677dan juga OOZIE-3674 tersedia di Amazon EMR jika Anda menjalankan Oozie di Amazon EMR 7.3.0 dan lebih tinggi. Ini memungkinkan Anda menentukan properti keyStoreType dan trustStoreType masukoozie-site.xml. OOZIE-3674 menambahkan parameter --insecure ke klien Oozie sehingga dapat mengabaikan kesalahan sertifikat.

Oozie memberlakukan verifikasi nama host TLS, yang berarti bahwa sertifikat apa pun yang Anda gunakan untuk enkripsi dalam transit harus memenuhi persyaratan verifikasi nama host. Jika sertifikat tidak memenuhi kriteria, cluster mungkin macet pada oozie share lib update tahap ketika Amazon EMR menyediakan cluster. Sebaiknya perbarui sertifikat untuk memastikan sertifikat tersebut sesuai dengan verifikasi nama host. Namun, jika Anda tidak dapat memperbarui sertifikat, Anda dapat menonaktifkan SSL untuk Oozie dengan menyetel oozie.https.enabled properti ke false dalam konfigurasi cluster.

Hue

Secara default, Hue mendukung TLS saat enkripsi in-transit diaktifkan di cluster Amazon EMR. Untuk informasi selengkapnya tentang konfigurasi Hue, lihat Meng onfigurasi Hue dengan HTTPS/ SSL.

Livy

Secara default, Livy mendukung TLS saat enkripsi in-transit diaktifkan di cluster Amazon EMR. Untuk informasi selengkapnya tentang konfigurasi Livy, lihat Meng aktifkan HTTPS dengan Apache Liv y.

Dimulai dengan Amazon EMR 7.3.0, jika Anda menggunakan enkripsi dalam transit dan otentikasi Kerberos, Anda tidak dapat menggunakan server Livy untuk aplikasi Spark yang bergantung pada metastore Hive. Masalah ini telah diperbaiki HIVE-16340 dan diselesaikan sepenuhnya SPARK-44114 ketika aplikasi Spark open-source dapat ditingkatkan ke Hive 3. Sementara itu, Anda dapat mengatasi masalah ini jika Anda hive.metastore.use.SSL mengaturnyafalse. Untuk informasi selengkapnya, lihat Meng onfigurasi aplikasi.

Untuk informasi selengkapnya, lihat mengaktifkan HTTPS dengan Apache Livy.

JupyterEnterpriseGateway

Secara default, Jupyter Enterprise Gateway mendukung TLS saat enkripsi in-transit diaktifkan di cluster Amazon EMR. Untuk informasi selengkapnya tentang konfigurasi Jupyter Enterprise Gateway, lihat Mengam ankan Server Gateway Perusahaan.

JupyterHub

Secara default, JupyterHub mendukung TLS saat enkripsi dalam transit diaktifkan di cluster Amazon EMR. Untuk informasi selengkapnya, lihat Mengaktifkan enkripsi SSL dalam JupyterHub dokumentasi. Tidak disarankan untuk menonaktifkan enkripsi.

Zeppelin

Secara default, Zeppelin mendukung TLS saat Anda mengaktifkan enkripsi dalam transit di cluster EMR Anda. Untuk informasi selengkapnya tentang konfigurasi Zeppelin, lihat Konfigurasi SSL dalam dokumentasi Zeppelin.

Zookeeper

Amazon EMR diatur serverCnxnFactory org.apache.zookeeper.server.NettyServerCnxnFactory untuk mengaktifkan TLS untuk kuorum Zookeeper dan komunikasi klien.

secureClientPortmenentukan port yang mendengarkan koneksi TLS. Jika klien tidak mendukung koneksi TLS ke Zookeeper, klien dapat terhubung ke port tidak aman 2181 yang ditentukan di. clientPort Anda dapat mengganti atau menonaktifkan kedua port ini.

Amazon EMR mengatur keduanya sslQuorum dan admin.forceHttps true untuk mengaktifkan komunikasi TLS untuk kuorum dan server admin. Jika Anda tidak ingin enkripsi in-transit untuk kuorum dan server admin, Anda dapat menonaktifkan konfigurasi tersebut. Kami menyarankan Anda menggunakan konfigurasi default untuk keamanan maksimum.

Untuk informasi selengkapnya, lihat Enkripsi, Otentikasi, Opsi Otorisasi dalam dokumentasi Zookeeper.