Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Amazon EMR merilis 6.6.0
6.6.0 versi aplikasi
Aplikasi berikut didukung dalam rilis ini: Flink
Tabel di bawah ini mencantumkan versi aplikasi yang tersedia dalam rilis Amazon ini EMR dan versi aplikasi di tiga EMR rilis Amazon sebelumnya (bila berlaku).
Untuk riwayat lengkap versi aplikasi untuk setiap rilis AmazonEMR, lihat topik berikut:
emr-6.6.0 | emr-6.5.0 | emr-6.4.0 | emr-6.3.1 | |
---|---|---|---|---|
AWS SDK untuk Java | 1.12.170 | 1.12.31 | 1.12.31 | 1.11.977 |
Python | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 | 2.7, 3.7 |
Skala | 2.12.10 | 2.12.10 | 2.12.10 | 2.12.10 |
AmazonCloudWatchAgent | - | - | - | - |
kuala | - | - | - | - |
Flink | 1.14.2 | 1.14.0 | 1.13.1 | 1.12.1 |
Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
HBase | 2.4.4 | 2.4.4 | 2.4.4 | 2.2.6 |
HCatalog | 3.1.2 | 3.1.2 | 3.1.2 | 3.1.2 |
Hadoop | 3.2.1 | 3.2.1 | 3.2.1 | 3.2.1 |
Hive | 3.1.2 | 3.1.2 | 3.1.2 | 3.1.2 |
Hudi | 0.10.1-amzn-0 | 0.9.0-amzn-1 | 0.8.0-amzn-0 | 0.7.0-amzn-0 |
Hue | 4.10.0 | 4.9.0 | 4.9.0 | 4.9.0 |
Gunung es | 0.13.1 | 0.12.0 | - | - |
JupyterEnterpriseGateway | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 |
JupyterHub | 1.4.1 | 1.4.1 | 1.4.1 | 1.2.2 |
Livy | 0.7.1 | 0.7.1 | 0.7.1 | 0.7.0 |
MXNet | 1.8.0 | 1.8.0 | 1.8.0 | 1.7.0 |
Mahout | - | - | - | - |
Oozie | 5.2.1 | 5.2.1 | 5.2.1 | 5.2.1 |
Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.0.0 |
Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
Presto | 0,267 | 0,261 | 0.254.1 | 0.245.1 |
Spark | 3.2.0 | 3.1.2 | 3.1.2 | 3.1.1 |
Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
TensorFlow | 2.4.1 | 2.4.1 | 2.4.1 | 2.4.1 |
Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
Trino (PrestoSQL) | 367 | 360 | 359 | 350 |
Zeppelin | 0.10.0 | 0.10.0 | 0.9.0 | 0.9.0 |
ZooKeeper | 3.5.7 | 3.5.7 | 3.5.7 | 3.4.14 |
6.6.0 catatan rilis
Catatan rilis berikut mencakup informasi untuk EMR rilis Amazon 6.6.0. Perubahan relatif terhadap 6.5.0.
Tanggal rilis awal: 9 Mei 2022
Tanggal dokumentasi yang diperbarui: Juni 15, 2022
Fitur Baru
Amazon EMR 6.6 sekarang mendukung Apache Spark 3.2, Apache Spark RAPIDS 22.02, CUDA 11, Apache Hudi 0.10.1, Apache Iceberg 0.13, Trino 0.367 dan PrestoDB 0.267.
Saat Anda meluncurkan cluster dengan rilis patch terbaru Amazon EMR 5.36 atau lebih tinggi, 6.6 atau lebih tinggi, atau 7.0 atau lebih tinggi, Amazon EMR menggunakan rilis Amazon Linux 2023 atau Amazon Linux 2 terbaru untuk Amazon default. EMR AMI Untuk informasi selengkapnya, lihat Menggunakan Amazon Linux default AMI untuk Amazon EMR.
OsReleaseLabel (Versi Amazon Linux) Versi Kernel Amazon Linux Tanggal Tersedia Wilayah yang Didukung 2.0.20241001.0 4.14.352 Oktober 4, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20240816.0 4.14.350 Agustus 21, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20240809.0 4.14.349 Agustus 20, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20240719.0 4.14.348 Juli 25, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20240709.1 4.14.348 Juli 23, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20240223.0 4.14.336 8 Maret 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20240131.0 4.14.336 Februari 14, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20240124.0 4.14.336 Februari 7, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20240109.0 4.14.334 Januari 24, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20231218.0 4.14.330 Januari 2, 2024 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20231206.0 4.14.330 22 Desember 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20231116.0 4.14.328 Desember 11, 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20231101.0 4.14.327 16 November 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20231020.1 4.14.326 7 November 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20231012.1 4.14.326 26 Oktober 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20230926.0 4.14.322 19 Oktober 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah), (AS-Barat), (AS-Timur), China AWS GovCloud (Beijing), China AWS GovCloud (Ningxia) 2.0.20230906.0 4.14.322 4 Oktober 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah) 2.0.20230822.0 4.14.322 Agustus 30, 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah) 2.0.20230808.0 4.14.320 24 Agustus 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah) 2.0.20230727.0 4.14.320 Agustus 14, 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain), Kanada (Tengah) 2.0.20230719.0 4.14.320 2 Agustus 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Eropa (Stockholm), Eropa (Milan), Eropa (Spanyol), Eropa (Frankfurt), Eropa (Zurich), Eropa (Irlandia), Eropa (London), Eropa (Paris), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Hyderabad), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Jakarta), Afrika (Cape Town), Amerika Selatan (São Paulo), Timur Tengah (Bahrain), Timur Tengah (), Kanada (Tengah) UAE 2.0.20230628.0 4.14.318 Juli 12, 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Kanada (Tengah), Eropa (Stockholm), Eropa (Irlandia), Eropa (London), Eropa (Paris), Eropa (Frankfurt), Eropa (Milan), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Jakarta), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain) 2.0.20230612.0 4.14.314 23 Juni 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Kanada (Tengah), Eropa (Stockholm), Eropa (Irlandia), Eropa (London), Eropa (Paris), Eropa (Frankfurt), Eropa (Milan), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Jakarta), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain) 2.0.20230504.1 4.14.313 16 Mei 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Kanada (Tengah), Eropa (Stockholm), Eropa (Irlandia), Eropa (London), Eropa (Paris), Eropa (Frankfurt), Eropa (Milan), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Jakarta), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain) 2.0.20230418.0 4.14.311 3 Mei 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Kanada (Tengah), Eropa (Stockholm), Eropa (Irlandia), Eropa (London), Eropa (Paris), Eropa (Frankfurt), Eropa (Milan), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Jakarta), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain) 2.0.20230404.1 4.14.311 18 April 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Kanada (Tengah), Eropa (Stockholm), Eropa (Irlandia), Eropa (London), Eropa (Paris), Eropa (Frankfurt), Eropa (Milan), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Jakarta), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain) 2.0.20230404.0 4.14.311 10 April 2023 AS Timur (Virginia N.), Eropa (Paris) 2.0.20230320.0 4.14.309 30 Maret 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Kanada (Tengah), Eropa (Stockholm), Eropa (Irlandia), Eropa (London), Eropa (Paris), Eropa (Frankfurt), Eropa (Milan), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Jakarta), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain) 2.0.20230307.0 4.14.305 15 Maret 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Kanada (Tengah), Eropa (Stockholm), Eropa (Irlandia), Eropa (London), Eropa (Paris), Eropa (Frankfurt), Eropa (Milan), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Jakarta), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain) 2.0.20230207.0 4.14.304 22 Februari 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Kanada (Tengah), Eropa (Stockholm), Eropa (Irlandia), Eropa (London), Eropa (Paris), Eropa (Frankfurt), Eropa (Milan), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Jakarta), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain) 2.0.20230119.1 4.14.301 3 Februari 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Kanada (Tengah), Eropa (Stockholm), Eropa (Irlandia), Eropa (London), Eropa (Paris), Eropa (Frankfurt), Eropa (Milan), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Jakarta), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain) 2.0.20221210.1 4.14.301 22 Desember 2023 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Kanada (Tengah), Eropa (Stockholm), Eropa (Irlandia), Eropa (London), Eropa (Paris), Eropa (Frankfurt), Eropa (Milan), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Jakarta), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain) 2.0.20221103.3 4.14.296 Desember 5, 2022 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Kanada (Tengah), Eropa (Stockholm), Eropa (Irlandia), Eropa (London), Eropa (Paris), Eropa (Frankfurt), Eropa (Milan), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Jakarta), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain) 2.0.20221004.0 4.14.294 2 November 2022 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Kanada (Tengah), Eropa (Stockholm), Eropa (Irlandia), Eropa (London), Eropa (Paris), Eropa (Frankfurt), Eropa (Milan), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Jakarta), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain) 2.0.20220912.1 4.14.291 Oktober 7, 2022 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Kanada (Tengah), Eropa (Stockholm), Eropa (Irlandia), Eropa (London), Eropa (Paris), Eropa (Frankfurt), Eropa (Milan), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Jakarta), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain) 2.0.20220805.0 4.14.287 30 Agustus 2022 us‑west‑1
2.0.20220719.0 4.14.287 Agustus 10, 2022 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Kanada (Tengah), Eropa (Stockholm), Eropa (Irlandia), Eropa (London), Eropa (Paris), Eropa (Frankfurt), Eropa (Milan), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Jakarta), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain) 2.0.20220426.0 4.14.281 Juni 10, 2022 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Kanada (Tengah), Eropa (Stockholm), Eropa (Irlandia), Eropa (London), Eropa (Paris), Eropa (Frankfurt), Eropa (Milan), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Jakarta), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain) 2.0.20220406.1 4.14.275 2 Mei 2022 AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Kanada (Tengah), Eropa (Stockholm), Eropa (Irlandia), Eropa (London), Eropa (Paris), Eropa (Frankfurt), Eropa (Milan), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Jakarta), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Afrika (Cape Town), Amerika Selatan (Sao Paulo), Timur Tengah (Bahrain) -
[Penskalaan terkelola] Pengoptimalan penskalaan terkelola data acak percikan - Untuk Amazon EMR versi 5.34.0 dan yang lebih baru, dan EMR versi 6.4.0 dan yang lebih baru, penskalaan terkelola sekarang sadar data acak Spark (data yang didistribusikan ulang Spark di seluruh partisi untuk melakukan operasi tertentu). Untuk informasi selengkapnya tentang operasi shuffle, lihat Menggunakan penskalaan EMR terkelola EMR di Amazon dalam Panduan EMR Manajemen Amazon dan Panduan Pemrograman Spark
. Dimulai dengan Amazon EMR 5.32.0 dan 6.5.0, ukuran pelaksana dinamis untuk Apache Spark diaktifkan secara default. Untuk mengaktifkan atau menonaktifkan fitur ini, Anda dapat menggunakan parameter
spark.yarn.heterogeneousExecutors.enabled
konfigurasi.
Perubahan, Penyempurnaan, dan Masalah Terselesaikan
Amazon EMR mengurangi waktu startup cluster hingga 80 detik rata-rata untuk cluster yang menggunakan AMI opsi EMR default dan hanya menginstal aplikasi umum, seperti Apache Hadoop, Apache Spark dan Apache Hive.
Masalah yang Diketahui
Ketika Amazon EMR merilis 6.5.0, 6.6.0, atau 6.7.0 membaca tabel Apache Phoenix melalui shell Apache Spark, terjadi karena Amazon menggunakan yang
NoSuchMethodError
salah. EMRHbase.compat.version
Amazon EMR rilis 6.8.0 memperbaiki masalah ini.-
Saat Anda menggunakan konektor DynamoDB dengan Spark di EMR Amazon versi 6.6.0, 6.7.0, dan 6.8.0, semua pembacaan dari tabel Anda mengembalikan hasil kosong, meskipun pemisahan input mereferensikan data yang tidak kosong. Ini karena Spark 3.2.0 disetel
spark.hadoopRDD.ignoreEmptySplits
ketrue
default. Sebagai solusinya, setel secara eksplisit ke.spark.hadoopRDD.ignoreEmptySplits
false
Amazon EMR rilis 6.9.0 memperbaiki masalah ini. Pada klaster Trino yang sudah berjalan lama, Amazon EMR 6.6.0 mengaktifkan parameter logging Pengumpulan Sampah di Trino jvm.config untuk mendapatkan wawasan yang lebih baik dari log Pengumpulan Sampah. Perubahan ini menambahkan banyak log Pengumpulan Sampah ke file launcher.log (/var/log/trino/launcher.log). Jika Anda menjalankan klaster Trino di Amazon EMR 6.6.0, Anda mungkin menemukan node kehabisan ruang disk setelah cluster berjalan selama beberapa hari karena log yang ditambahkan.
Solusi untuk masalah ini adalah menjalankan skrip di bawah ini sebagai Tindakan Bootstrap untuk menonaktifkan parameter logging Pengumpulan Sampah di jvm.config saat membuat atau mengkloning cluster untuk Amazon 6.6.0. EMR
#!/bin/bash set -ex PRESTO_PUPPET_DIR='/var/aws/emr/bigtop-deploy/puppet/modules/trino' sudo bash -c "sed -i '/-Xlog/d' ${PRESTO_PUPPET_DIR}/templates/jvm.config"
Saat Anda menggunakan format lokasi partisi Spark dengan Hive untuk membaca data di Amazon S3, dan Anda menjalankan Spark di Amazon EMR merilis 5.30.0 hingga 5.36.0, dan 6.2.0 hingga 6.9.0, Anda mungkin mengalami masalah yang mencegah klaster membaca data dengan benar. Ini dapat terjadi jika partisi Anda memiliki semua karakteristik berikut:
-
Dua atau lebih partisi dipindai dari tabel yang sama.
-
Setidaknya satu jalur direktori partisi adalah awalan dari setidaknya satu jalur direktori partisi lainnya, misalnya,
s3://bucket/table/p=a
adalah awalan dari.s3://bucket/table/p=a b
-
Karakter pertama yang mengikuti awalan di direktori partisi lain memiliki nilai UTF -8 yang kurang dari
/
karakter (U+002F). Misalnya, karakter spasi (U+0020) yang terjadi antara a dan b masuks3://bucket/table/p=a b
termasuk dalam kategori ini. Perhatikan bahwa ada 14 karakter non-kontrol lainnya:!"#$%&‘()*+,-
. Untuk informasi selengkapnya, lihat UTF-8 tabel pengkodean dan karakter Unicode.
Sebagai solusi untuk masalah ini, setel
spark.sql.sources.fastS3PartitionDiscovery.enabled
konfigurasi kefalse
dalam klasifikasi.spark-defaults
-
Dengan Amazon EMR merilis 5.36.0 dan 6.6.0 hingga 6.9.0,
SecretAgent
dan komponenRecordServer
layanan mungkin mengalami kehilangan data log karena konfigurasi pola nama file yang salah di properti Log4j2. Konfigurasi yang salah menyebabkan komponen menghasilkan hanya satu file log per hari. Ketika strategi rotasi terjadi, ia menimpa file yang ada alih-alih menghasilkan file log baru seperti yang diharapkan. Sebagai solusinya, gunakan tindakan bootstrap untuk menghasilkan file log setiap jam dan tambahkan bilangan bulat kenaikan otomatis dalam nama file untuk menangani rotasi.Untuk rilis Amazon EMR 6.6.0 hingga 6.9.0, gunakan tindakan bootstrap berikut saat Anda meluncurkan cluster.
‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-6x/replace-puppet.sh,Args=[]"
Untuk Amazon EMR 5.36.0, gunakan tindakan bootstrap berikut saat Anda meluncurkan cluster.
‑‑bootstrap‑actions "Path=s3://emr-data-access-control-us-east-1/customer-bootstrap-actions/log-rotation-emr-5x/replace-puppet.sh,Args=[]"
6.6.0 versi komponen
Komponen yang EMR diinstal Amazon dengan rilis ini tercantum di bawah ini. Beberapa komponen diinstal sebagai bagian dari paket aplikasi big data. Lainnya unik untuk Amazon EMR dan diinstal untuk proses dan fitur sistem. Ini biasanya dimulai dengan emr
atau aws
. Paket aplikasi data besar dalam EMR rilis Amazon terbaru biasanya merupakan versi terbaru yang ditemukan di komunitas. Kami membuat rilis komunitas tersedia di Amazon EMR secepat mungkin.
Beberapa komponen di Amazon EMR berbeda dari versi komunitas. Komponen ini mempunyai label versi dalam bentuk
. CommunityVersion
-amzn-EmrVersion
dimulai dari 0. Misalnya, jika komponen komunitas open source bernama EmrVersion
myapp-component
dengan versi 2.2 telah dimodifikasi tiga kali untuk dimasukkan dalam EMR rilis Amazon yang berbeda, versi rilisnya terdaftar sebagai2.2-amzn-2
.
Komponen | Versi | Deskripsi |
---|---|---|
aws-sagemaker-spark-sdk | 1.4.1 | Amazon SageMaker Spark SDK |
emr-ddb | 4.16.0 | Konektor Amazon DynamoDB untuk aplikasi ekosistem Hadoop. |
emr-goodies | 3.2.0 | Perpustakaan kenyamanan ekstra untuk ekosistem Hadoop. |
emr-kinesis | 3.5.0 | Konektor Amazon Kinesis untuk aplikasi ekosistem Hadoop. |
emr-notebook-env | 1.5.0 | Conda env untuk emr notebook yang mencakup gateway jupyter korporasi |
emr-s3-dist-cp | 2.20.0 | Aplikasi salinan terdistribusi yang dioptimalkan untuk Amazon S3. |
emr-s3-select | 2.1.0 | EMRKonektor S3Select |
emrfs | 2.50.0 | Konektor Amazon S3 untuk aplikasi ekosistem Hadoop. |
flink-client | 1.14.2 | Skrip dan aplikasi klien baris perintah Apache Flink. |
flink-jobmanager-config | 1.14.2 | Mengelola sumber daya pada EMR node untuk Apache JobManager Flink. |
ganglia-monitor | 3.7.2 | Agen Ganglia tertanam untuk aplikasi ekosistem Hadoop bersama dengan agen pemantauan Ganglia. |
ganglia-metadata-collector | 3.7.2 | Kolektor metadata Ganglia untuk menggabungkan metrik dari agen pemantauan Ganglia. |
ganglia-web | 3.7.1 | Aplikasi web untuk melihat metrik yang dikumpulkan oleh kolektor metadata Ganglia. |
hadoop-client | 3.2.1-amzn-6 | Klien baris perintah Hadoop seperti 'hdfs', 'Hadoop', atau 'yarn'. |
hadoop-hdfs-datanode | 3.2.1-amzn-6 | HDFSlayanan tingkat simpul untuk menyimpan blok. |
hadoop-hdfs-library | 3.2.1-amzn-6 | HDFSklien baris perintah dan pustaka |
hadoop-hdfs-namenode | 3.2.1-amzn-6 | HDFSlayanan untuk melacak nama file dan lokasi blok. |
hadoop-hdfs-journalnode | 3.2.1-amzn-6 | HDFSlayanan untuk mengelola jurnal filesystem Hadoop pada klaster HA. |
hadoop-httpfs-server | 3.2.1-amzn-6 | HTTPtitik akhir untuk HDFS operasi. |
hadoop-kms-server | 3.2.1-amzn-6 | Server manajemen kunci kriptografi berdasarkan Hadoop. KeyProvider API |
hadoop-mapred | 3.2.1-amzn-6 | MapReduce pustaka mesin eksekusi untuk menjalankan MapReduce aplikasi. |
hadoop-yarn-nodemanager | 3.2.1-amzn-6 | YARNlayanan untuk mengelola kontainer pada node individu. |
hadoop-yarn-resourcemanager | 3.2.1-amzn-6 | YARNlayanan untuk mengalokasikan dan mengelola sumber daya cluster dan aplikasi terdistribusi. |
hadoop-yarn-timeline-server | 3.2.1-amzn-6 | Layanan untuk mengambil informasi terkini dan historis untuk YARN aplikasi. |
hbase-hmaster | 2.4.4-amzn-2 | Layanan untuk HBase cluster yang bertanggung jawab untuk koordinasi Daerah dan pelaksanaan perintah administratif. |
hbase-region-server | 2.4.4-amzn-2 | Layanan untuk melayani satu atau lebih HBase wilayah. |
hbase-client | 2.4.4-amzn-2 | HBaseklien baris perintah. |
hbase-rest-server | 2.4.4-amzn-2 | Layanan menyediakan RESTful HTTP titik akhir untukHBase. |
hbase-thrift-server | 2.4.4-amzn-2 | Layanan menyediakan titik akhir Thrift ke. HBase |
hbase-operator-tools | 2.4.4-amzn-2 | Alat perbaikan untuk HBase cluster Apache. |
hcatalog-client | 3.1.2-amzn-7 | Klien baris perintah 'hcat' untuk memanipulasi hcatalog-server. |
hcatalog-server | 3.1.2-amzn-7 | Penyediaan layananHCatalog, tabel dan lapisan manajemen penyimpanan untuk aplikasi terdistribusi. |
hcatalog-webhcat-server | 3.1.2-amzn-7 | HTTPendpoint menyediakan REST antarmuka keHCatalog. |
hive-client | 3.1.2-amzn-7 | Klien baris perintah Hive. |
hive-hbase | 3.1.2-amzn-7 | Klien Hive-hbase. |
hive-metastore-server | 3.1.2-amzn-7 | Layanan untuk mengakses metastore Hive, repositori semantik menyimpan metadata untuk operasi Hadoop. SQL |
hive-server2 | 3.1.2-amzn-7 | Layanan untuk menerima kueri Hive sebagai permintaan web. |
hudi | 0.10.1-amzn-0 | Kerangka pemrosesan tambahan untuk memberi daya pada pipa data pada latensi rendah dan efisiensi tinggi. |
hudi-presto | 0.10.1-amzn-0 | Perpustakaan paket untuk menjalankan Presto dengan Hudi. |
hudi-trino | 0.10.1-amzn-0 | Perpustakaan bundel untuk menjalankan Trino dengan Hudi. |
hudi-spark | 0.10.1-amzn-0 | Perpustakaan paket untuk menjalankan Spark dengan Hudi. |
hue-server | 4.10.0 | Aplikasi web untuk menganalisis data menggunakan aplikasi ekosistem Hadoop |
iceberg | 0.13.1 | Apache Iceberg adalah format tabel terbuka untuk kumpulan data analitik besar |
jupyterhub | 1.4.1 | Server multi-pengguna untuk notebook Jupyter |
livy-server | 0.7.1-inkubasi | RESTantarmuka untuk berinteraksi dengan Apache Spark |
nginx | 1.12.1 | nginx [engine x] adalah server proxy HTTP terbalik |
mxnet | 1.8.0 | Perpustakaan yang fleksibel, dapat diskalakan, dan efisien untuk deep learning. |
mariadb-server | 5.5.68+ | Server basis data MariaDB. |
nvidia-cuda | 11.0.194 | Driver Nvidia dan kit alat Cuda |
oozie-client | 5.2.1 | Klien baris perintah Oozie. |
oozie-server | 5.2.1 | Layanan untuk menerima permintaan alur kerja Oozie. |
opencv | 4.5.0 | Perpustakaan Visi Komputer Sumber Terbuka. |
phoenix-library | 5.1.2 | Perpustakaan phoenix untuk server dan klien |
phoenix-connectors | 5.1.2 | Konektor Apache Phoenix untuk Spark-3 |
phoenix-query-server | 5.1.2 | Server ringan yang menyediakan JDBC akses serta Protocol Buffer dan akses JSON format ke Avatica API |
presto-coordinator | 0,267-amzn-0 | Layanan untuk menerima kueri dan mengelola eksekusi kueri antara presto-worker. |
presto-worker | 0,267-amzn-0 | Layanan untuk mengeksekusi potongan kueri. |
presto-client | 0,267-amzn-0 | Klien baris perintah Presto yang diinstal pada master klaster HA yang siaga di mana server Presto server tidak dimulai. |
trino-coordinator | 367-amzn-0 | Layanan untuk menerima kueri dan mengelola eksekusi kueri di antara trino-workers. |
trino-worker | 367-amzn-0 | Layanan untuk mengeksekusi potongan kueri. |
trino-client | 367-amzn-0 | Klien baris perintah Trino yang diinstal pada master siaga cluster HA di mana server Trino tidak dimulai. |
pig-client | 0.17.0 | Klien baris perintah Pig. |
r | 4.0.2 | Proyek R untuk Komputasi Statistik |
ranger-kms-server | 2.0.0 | Sistem Pengelolaan Kunci Ranger Apache |
spark-client | 3.2.0-amzn-0 | Klien baris perintah Spark. |
spark-history-server | 3.2.0-amzn-0 | Web UI untuk melihat log acara untuk seluruh masa pakai aplikasi Spark. |
spark-on-yarn | 3.2.0-amzn-0 | Mesin eksekusi dalam memori untukYARN. |
spark-yarn-slave | 3.2.0-amzn-0 | Perpustakaan Apache Spark dibutuhkan oleh budak. YARN |
spark-rapids | 22.02.0-amzn-0 | RAPIDSPlugin Nvidia Spark yang mempercepat Apache Spark dengan. GPUs |
sqoop-client | 1.4.7 | Klien baris perintah Apache Sqoop. |
tensorflow | 2.4.1 | TensorFlow pustaka perangkat lunak open source untuk perhitungan numerik kinerja tinggi. |
tez-on-yarn | 0.9.2 | YARNAplikasi tez dan perpustakaan. |
webserver | 2.4.41+ | HTTPServer Apache. |
zeppelin-server | 0.10.0 | Notebook berbasis web yang memungkinkan analisis data interaktif. |
zookeeper-server | 3.5.7 | Layanan terpusat untuk menjaga informasi konfigurasi, penamaan, yang menyediakan sinkronisasi terdistribusi, dan menyediakan layanan grup. |
zookeeper-client | 3.5.7 | ZooKeeper klien baris perintah. |
6.6.0 klasifikasi konfigurasi
Klasifikasi konfigurasi memungkinkan Anda menyesuaikan aplikasi. Ini sering sesuai dengan XML file konfigurasi untuk aplikasi, sepertihive-site.xml
. Untuk informasi selengkapnya, lihat Konfigurasikan aplikasi.
Tindakan konfigurasi ulang terjadi ketika Anda menentukan konfigurasi untuk grup instans di klaster yang sedang berjalan. Amazon EMR hanya memulai tindakan konfigurasi ulang untuk klasifikasi yang Anda modifikasi. Untuk informasi selengkapnya, lihat Lakukan konfigurasi ulang pada grup instans di klaster yang sedang berjalan.
Klasifikasi | Deskripsi | Tindakan Konfigurasi Ulang |
---|---|---|
capacity-scheduler | Ubah nilai dalam file capacity-scheduler.xml Hadoop. | Restarts the ResourceManager service. |
container-executor | Ubah nilai dalam file container-executor.cfg YARN Hadoop. | Not available. |
container-log4j | Ubah nilai dalam file container-log4j.properties YARN Hadoop. | Not available. |
core-site | Ubah nilai dalam file core-site.xml Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Ranger KMS, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
docker-conf | Ubah pengaturan terkait docker. | Not available. |
emrfs-site | Ubah EMRFS pengaturan. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts HBaseRegionserver, HBaseMaster, HBaseThrift, HBaseRest, HiveServer2, Hive MetaStore, Hadoop Httpfs, and MapReduce-HistoryServer. |
flink-conf | Ubah pengaturan flink-conf.yaml. | Restarts Flink history server. |
flink-log4j | Ubah pengaturan log4j.properties Flink. | Restarts Flink history server. |
flink-log4j-session | Ubah pengaturan Flink log4j-session.properties untuk sesi Kubernetes/Yarn. | Restarts Flink history server. |
flink-log4j-cli | Ubah pengaturan log4j-cli.properties Flink. | Restarts Flink history server. |
hadoop-env | Ubah nilai dalam lingkungan Hadoop untuk semua komponen Hadoop. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts PhoenixQueryserver, HiveServer2, Hive MetaStore, and MapReduce-HistoryServer. |
hadoop-log4j | Ubah nilai dalam file log4j.properties Hadoop ini. | Restarts the Hadoop HDFS services SecondaryNamenode, Datanode, and Journalnode. Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Hadoop KMS, Hadoop Httpfs, and MapReduce-HistoryServer. |
hadoop-ssl-server | Ubah konfigurasi server ssl hadoop | Not available. |
hadoop-ssl-client | Ubah konfigurasi klien ssl hadoop | Not available. |
hbase | Pengaturan EMR yang dikurasi Amazon untuk Apache. HBase | Custom EMR specific property. Sets emrfs-site and hbase-site configs. See those for their associated restarts. |
hbase-env | Ubah nilai HBase di lingkungan. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
hbase-log4j | Ubah nilai dalam file HBase hbase-log4j.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
hbase-metrics | Ubah nilai dalam file HBase hadoop-metrics2-hbase.properties. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. |
hbase-policy | Ubah nilai dalam HBase file hbase-policy.xml. | Not available. |
hbase-site | Ubah nilai dalam HBase file hbase-site.xml. | Restarts the HBase services RegionServer, HBaseMaster, ThriftServer, RestServer. Additionally restarts Phoenix QueryServer. |
hdfs-encryption-zones | Konfigurasikan zona HDFS enkripsi. | This classification should not be reconfigured. |
hdfs-env | Ubah nilai di HDFS lingkungan. | Restarts Hadoop HDFS services Namenode, Datanode, and ZKFC. |
hdfs-site | Ubah nilai dalam HDFS hdfs-site.xml. | Restarts the Hadoop HDFS services Namenode, SecondaryNamenode, Datanode, ZKFC, and Journalnode. Additionally restarts Hadoop Httpfs. |
hcatalog-env | Ubah nilai HCatalog di lingkungan. | Restarts Hive HCatalog Server. |
hcatalog-server-jndi | Ubah nilai di HCatalog jndi.properties. | Restarts Hive HCatalog Server. |
hcatalog-server-proto-hive-site | Ubah nilai HCatalog proto-hive-site dalam.xml's. | Restarts Hive HCatalog Server. |
hcatalog-webhcat-env | Ubah nilai di lingkungan HCatalog WebHCat. | Restarts Hive WebHCat server. |
hcatalog-webhcat-log4j2 | Ubah nilai di ebHCat log4j2.properties HCatalog W. | Restarts Hive WebHCat server. |
hcatalog-webhcat-site | Ubah nilai dalam file webhcat-site.xml HCatalog WebHCat. | Restarts Hive WebHCat server. |
hive | Pengaturan EMR yang dikurasi Amazon untuk Apache Hive. | Sets configurations to launch Hive LLAP service. |
hive-beeline-log4j2 | Ubah nilai dalam file beeline-log4j2.properties Hive. | Not available. |
hive-parquet-logging | Ubah nilai dalam file parquet-logging.properties Hive. | Not available. |
hive-env | Ubah nilai dalam lingkungan Hive. | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. |
hive-exec-log4j2 | Ubah nilai dalam file hive-exec-log 4j2.properties Hive. | Not available. |
hive-llap-daemon-log4j2 | Ubah nilai dalam file llap-daemon-log 4j2.properties Hive. | Not available. |
hive-log4j2 | Ubah nilai dalam file hive-log4j2.properties Hive. | Not available. |
hive-site | Ubah nilai dalam file hive-site.xml Hive | Restarts HiveServer2, HiveMetastore, and Hive HCatalog-Server. Runs Hive schemaTool CLI commands to verify hive-metastore. Also restarts Oozie and Zeppelin. |
hiveserver2-site | Ubah nilai dalam file hiveserver2-site.xml Hive Server2 | Not available. |
hue-ini | Ubah nilai dalam file ini Hue | Restarts Hue. Also activates Hue config override CLI commands to pick up new configurations. |
httpfs-env | Ubah nilai di HTTPFS lingkungan. | Restarts Hadoop Httpfs service. |
httpfs-site | Ubah nilai dalam file httpfs-site.xml Hadoop. | Restarts Hadoop Httpfs service. |
hadoop-kms-acls | Ubah nilai dalam file kms-acls.xml Hadoop. | Not available. |
hadoop-kms-env | Ubah nilai di lingkungan HadoopKMS. | Restarts Hadoop-KMS service. |
hadoop-kms-log4j | Ubah nilai dalam file kms-log4j.properties Hadoop. | Not available. |
hadoop-kms-site | Ubah nilai dalam file kms-site.xml Hadoop. | Restarts Hadoop-KMS and Ranger-KMS service. |
hudi-env | Ubah nilai di lingkungan Hudi. | Not available. |
hudi-defaults | Ubah nilai dalam file hudi-defaults.conf Hudi. | Not available. |
iceberg-defaults | Ubah nilai dalam file iceberg-defaults.conf Iceberg. | Not available. |
jupyter-notebook-conf | Ubah nilai dalam file jupyter_notebook_config.py Jupyter Notebook. | Not available. |
jupyter-hub-conf | Ubah nilai dalam JupyterHubs file jupyterhub_config.py. | Not available. |
jupyter-s3-conf | Konfigurasikan persistensi Jupyter Notebook S3. | Not available. |
jupyter-sparkmagic-conf | Ubah nilai dalam file config.json Sparkmagic. | Not available. |
livy-conf | Ubah nilai dalam file livy.conf Livy. | Restarts Livy Server. |
livy-env | Ubah nilai di lingkungan Livy. | Restarts Livy Server. |
livy-log4j | Ubah pengaturan Livy log4j.properties. | Restarts Livy Server. |
mapred-env | Ubah nilai di lingkungan MapReduce aplikasi. | Restarts Hadoop MapReduce-HistoryServer. |
mapred-site | Ubah nilai dalam file mapred-site.xml MapReduce aplikasi. | Restarts Hadoop MapReduce-HistoryServer. |
oozie-env | Ubah nilai di lingkungan Oozie. | Restarts Oozie. |
oozie-log4j | Ubah nilai dalam file oozie-log4j.properties Oozie. | Restarts Oozie. |
oozie-site | Ubah nilai dalam file oozie-site.xml Oozie. | Restarts Oozie. |
phoenix-hbase-metrics | Ubah nilai dalam file hadoop-metrics2-hbase.properties Phoenix. | Not available. |
phoenix-hbase-site | Ubah nilai dalam file hbase-site.xml Phoenix. | Not available. |
phoenix-log4j | Ubah nilai dalam file log4j.properties Phoenix. | Restarts Phoenix-QueryServer. |
phoenix-metrics | Ubah nilai dalam file hadoop-metrics2-phoenix.properties Phoenix. | Not available. |
pig-env | Ubah nilai di lingkungan Pig. | Not available. |
pig-properties | Ubah nilai dalam file pig.properties Pig. | Restarts Oozie. |
pig-log4j | Ubah nilai dalam file log4j.properties Pig. | Not available. |
presto-log | Ubah nilai dalam file log.properties Presto. | Restarts Presto-Server (for PrestoDB) |
presto-config | Ubah nilai dalam file config.properties Presto. | Restarts Presto-Server (for PrestoDB) |
presto-password-authenticator | Ubah nilai dalam file password-authenticator.properties Presto. | Not available. |
presto-env | Ubah nilai dalam file presto-env.sh Presto. | Restarts Presto-Server (for PrestoDB) |
presto-node | Ubah nilai dalam file node.properties Presto. | Not available. |
presto-connector-blackhole | Ubah nilai dalam file blackhole.properties Presto. | Not available. |
presto-connector-cassandra | Ubah nilai dalam file cassandra.properties Presto. | Not available. |
presto-connector-hive | Ubah nilai dalam file hive.properties Presto. | Restarts Presto-Server (for PrestoDB) |
presto-connector-jmx | Ubah nilai dalam file jmx.properties Presto. | Not available. |
presto-connector-kafka | Ubah nilai dalam file kafka.properties Presto. | Not available. |
presto-connector-localfile | Ubah nilai dalam file localfile.properties Presto. | Not available. |
presto-connector-memory | Ubah nilai dalam file memory.properties Presto. | Not available. |
presto-connector-mongodb | Ubah nilai dalam file mongodb.properties Presto. | Not available. |
presto-connector-mysql | Ubah nilai dalam file mysql.properties Presto. | Not available. |
presto-connector-postgresql | Ubah nilai dalam file postgresql.properties Presto. | Not available. |
presto-connector-raptor | Ubah nilai dalam file raptor.properties Presto. | Not available. |
presto-connector-redis | Ubah nilai dalam file redis.properties Presto. | Not available. |
presto-connector-redshift | Ubah nilai dalam file redshift.properties Presto. | Not available. |
presto-connector-tpch | Ubah nilai dalam file tpch.properties Presto. | Not available. |
presto-connector-tpcds | Ubah nilai dalam file tpcds.properties Presto. | Not available. |
trino-log | Ubah nilai dalam file log.properties Trino. | Restarts Trino-Server (for Trino) |
trino-config | Ubah nilai dalam file config.properties Trino. | Restarts Trino-Server (for Trino) |
trino-password-authenticator | Ubah nilai dalam file password-authenticator.properties Trino. | Restarts Trino-Server (for Trino) |
trino-env | Ubah nilai dalam file trino-env.sh Trino. | Restarts Trino-Server (for Trino) |
trino-node | Ubah nilai dalam file node.properties Trino. | Not available. |
trino-connector-blackhole | Ubah nilai dalam file blackhole.properties Trino. | Not available. |
trino-connector-cassandra | Ubah nilai dalam file cassandra.properties Trino. | Not available. |
trino-connector-hive | Ubah nilai dalam file hive.properties Trino. | Restarts Trino-Server (for Trino) |
trino-connector-iceberg | Ubah nilai dalam file iceberg.properties Trino. | Restarts Trino-Server (for Trino) |
trino-connector-jmx | Ubah nilai dalam file jmx.properties Trino. | Not available. |
trino-connector-kafka | Ubah nilai dalam file kafka.properties Trino. | Not available. |
trino-connector-localfile | Ubah nilai dalam file localfile.properties Trino. | Not available. |
trino-connector-memory | Ubah nilai dalam file memory.properties Trino. | Not available. |
trino-connector-mongodb | Ubah nilai dalam file mongodb.properties Trino. | Not available. |
trino-connector-mysql | Ubah nilai dalam file mysql.properties Trino. | Not available. |
trino-connector-postgresql | Ubah nilai dalam file postgresql.properties Trino. | Not available. |
trino-connector-raptor | Ubah nilai dalam file raptor.properties Trino. | Not available. |
trino-connector-redis | Ubah nilai dalam file redis.properties Trino. | Not available. |
trino-connector-redshift | Ubah nilai dalam file redshift.properties Trino. | Not available. |
trino-connector-tpch | Ubah nilai dalam file tpch.properties Trino. | Not available. |
trino-connector-tpcds | Ubah nilai dalam file tpcds.properties Trino. | Not available. |
ranger-kms-dbks-site | Ubah nilai dalam file dbks-site.xml dari Ranger. KMS | Restarts Ranger KMS Server. |
ranger-kms-site | Ubah nilai dalam ranger-kms-site file.xml.Ranger. KMS | Restarts Ranger KMS Server. |
ranger-kms-env | Ubah nilai di KMS lingkungan Ranger. | Restarts Ranger KMS Server. |
ranger-kms-log4j | Ubah nilai dalam file kms-log4j.properties dari Ranger. KMS | Not available. |
ranger-kms-db-ca | Ubah nilai untuk file CA di S3 untuk SQL SSL koneksi Saya dengan RangerKMS. | Not available. |
spark | Pengaturan EMR yang dikurasi Amazon untuk Apache Spark. | This property modifies spark-defaults. See actions there. |
spark-defaults | Ubah nilai dalam file spark-defaults.conf Spark. | Restarts Spark history server and Spark thrift server. |
spark-env | Ubah nilai di lingkungan Spark. | Restarts Spark history server and Spark thrift server. |
spark-hive-site | Ubah nilai dalam file hive-site.xml Spark | Not available. |
spark-log4j | Ubah nilai dalam file log4j.properties Spark. | Restarts Spark history server and Spark thrift server. |
spark-metrics | Ubah nilai dalam file metrics.properties Spark. | Restarts Spark history server and Spark thrift server. |
sqoop-env | Ubah nilai dalam lingkungan Sqoop. | Not available. |
sqoop-oraoop-site | Ubah nilai dalam file oraoop-site.xml Sqoop OraOop ini. | Not available. |
sqoop-site | Ubah nilai dalam file sqoop-site.xml Sqoop. | Not available. |
tez-site | Ubah nilai dalam file tez-site.xml Tez. | Restart Oozie and HiveServer2. |
yarn-env | Ubah nilai di YARN lingkungan. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts MapReduce-HistoryServer. |
yarn-site | Ubah nilai dalam YARN file yarn-site.xml. | Restarts the Hadoop YARN services ResourceManager, NodeManager, ProxyServer, and TimelineServer. Additionally restarts Livy Server and MapReduce-HistoryServer. |
zeppelin-env | Ubah nilai di lingkungan Zeppelin. | Restarts Zeppelin. |
zeppelin-site | Ubah pengaturan konfigurasi di zeppelin-site.xml. | Restarts Zeppelin. |
zookeeper-config | Ubah nilai dalam ZooKeeper file zoo.cfg. | Restarts Zookeeper server. |
zookeeper-log4j | Ubah nilai dalam file ZooKeeper log4j.properties. | Restarts Zookeeper server. |