Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Configuration HDFS
Le tableau suivant décrit les paramètres par défaut du système de fichiers distribué Hadoop (HDFS) et leurs configurations. Vous pouvez modifier ces valeurs à l'aide de la classification de configuration hdfs-site. Pour de plus amples informations, veuillez consulter Configuration des applications.
Avertissement
-
Paramétrer
dfs.replicationsur la valeur 1 avec les clusters de moins de quatre nœuds peut entraîner une perte de données HDFS en cas de panne d'un seul nœud. Si votre cluster dispose d'un stockage HDFS, nous vous recommandons de le configurer avec au moins quatre nœuds principaux pour les charges de travail de production afin d'éviter toute perte de données. -
Amazon EMR n'autorisera pas les clusters à dimensionner les nœuds primaires situés en dessous.
dfs.replicationPar exemple, sidfs.replication = 2, le nombre minimum de nœuds principaux est 2. -
Lorsque vous utilisez la mise à l'échelle gérée, autoscaling, ou que vous choisissez de redimensionner manuellement votre cluster, nous vous recommandons de définir
dfs.replicationsur une valeur supérieure ou égale à2.
| Paramètre | Définition | Valeur par défaut |
|---|---|---|
dfs.block.size |
Taille des blocs HDFS. Lorsque vous exploitez des données stockées dans HDFS, la taille de division est généralement celle d'un bloc HDFS. Plus la taille est grande, plus la granularité de la tâche est faible. En revanche, les contraintes sur le NameNode du cluster sont moins importantes. |
134217728 (128 Mo) |
dfs.replication |
Le nombre de copies de chaque bloc à stocker pour des questions de durabilité. Amazon EMR définit cette valeur en fonction du nombre de nœuds principaux avec lesquels le cluster est approvisionné. Ajustez la valeur en fonction de vos besoins. Pour remplacer la valeur par défaut, utilisez la classification hdfs-site. |
|
