Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
HDFSkonfigurasi
Tabel berikut menjelaskan parameter default Hadoop Distributed File System (HDFS) dan pengaturannya. Anda dapat mengubah nilai ini menggunakan hdfs-site klasifikasi konfigurasi. Untuk informasi selengkapnya, lihat Konfigurasikan aplikasi.
Awas
-
Pengaturan
dfs.replicationke 1 pada cluster dengan kurang dari empat node dapat menyebabkan hilangnya HDFS data jika satu node turun. Jika klaster Anda memiliki HDFS penyimpanan, sebaiknya Anda mengonfigurasi klaster dengan setidaknya empat node inti untuk beban kerja produksi guna menghindari kehilangan data. -
Amazon tidak EMR akan mengizinkan cluster untuk menskalakan node inti di bawah ini
dfs.replication. Misalnya, jikadfs.replication = 2, jumlah minimum node inti adalah 2. -
Saat Anda menggunakan Penskalaan terkelola, auto-scaling, atau memilih untuk mengubah ukuran klaster secara manual, sebaiknya Anda menyetel ke atau yang lebih tinggi.
dfs.replication2
| Parameter | Definisi | Nilai default |
|---|---|---|
dfs.block.size |
Ukuran HDFS balok. Saat beroperasi pada data yang disimpanHDFS, ukuran split umumnya seukuran HDFS blok. Nomor yang lebih besar memberikan tugas terperinci yang lebih sedikit, tetapi menempatkan ketegangan pada klaster juga lebih sedikit NameNode. |
134217728 (128 MB) |
dfs.replication |
Jumlah salinan dari setiap blok yang disimpan untuk daya tahan. Amazon EMR menetapkan nilai ini berdasarkan jumlah node inti yang disediakan oleh cluster. Sesuaikan nilai untuk memenuhi kebutuhan Anda. Untuk menimpa nilai default, gunakan hdfs-site klasifikasi. |
|
