Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Konfigurasi HDFS
Tabel berikut menjelaskan parameter Sistem File Terdistribusi Hadoop (HDFS) default dan pengaturannya. Anda dapat mengubah nilai ini menggunakan hdfs-site klasifikasi konfigurasi. Untuk informasi selengkapnya, lihat Konfigurasikan aplikasi.
Awas
-
Pengaturan
dfs.replicationke 1 pada cluster dengan kurang dari empat node dapat menyebabkan hilangnya data HDFS jika satu node turun. Jika cluster Anda memiliki penyimpanan HDFS, sebaiknya Anda mengonfigurasi cluster dengan setidaknya empat node inti untuk beban kerja produksi untuk menghindari kehilangan data. -
Amazon EMR tidak akan mengizinkan cluster untuk menskalakan node inti di bawah ini
dfs.replication. Misalnya, jikadfs.replication = 2, jumlah minimum node inti adalah 2. -
Bila Anda menggunakan penskalaan terkelola, penskalaan otomatis, atau memilih untuk mengubah ukuran cluster secara manual, sebaiknya setel
dfs.replicationke2atau lebih tinggi.
| Parameter | Definisi | Nilai default |
|---|---|---|
dfs.block.size |
Ukuran blok HDFS. Ketika beroperasi pada data yang disimpan dalam HDFS, ukuran split umumnya merupakan ukuran blok HDFS. Nomor yang lebih besar memberikan tugas terperinci yang lebih sedikit, tetapi menempatkan ketegangan pada klaster juga lebih sedikit NameNode. |
134217728 (128 MB) |
dfs.replication |
Jumlah salinan dari setiap blok yang disimpan untuk daya tahan. Amazon EMR menetapkan nilai ini berdasarkan jumlah node inti yang disediakan cluster. Sesuaikan nilainya untuk memenuhi kebutuhan Anda. Untuk menimpa nilai default, gunakan hdfs-site klasifikasi. |
|
