選取您的 Cookie 偏好設定

我們使用提供自身網站和服務所需的基本 Cookie 和類似工具。我們使用效能 Cookie 收集匿名統計資料,以便了解客戶如何使用我們的網站並進行改進。基本 Cookie 無法停用,但可以按一下「自訂」或「拒絕」以拒絕效能 Cookie。

如果您同意,AWS 與經核准的第三方也會使用 Cookie 提供實用的網站功能、記住您的偏好設定,並顯示相關內容,包括相關廣告。若要接受或拒絕所有非必要 Cookie,請按一下「接受」或「拒絕」。若要進行更詳細的選擇,請按一下「自訂」。

HDFS 組態 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

HDFS 組態

下表說明預設的 Hadoop 分散式檔案系統 (HDFS) 參數和他們的設定。您可以使用 hdfs-site 組態分類變更這些值。如需詳細資訊,請參閱設定應用程式

警告
  1. 如果單一節點發生故障,在少於四個節點的叢集上將 dfs.replication 設定為 1 可能會導致 HDFS 資料遺失。如果您的叢集具有 HDFS 儲存,建議您為生產工作負載設定至少具有四個核心節點的叢集,以避免資料遺失。

  2. Amazon EMR 不允許叢集將核心節點擴展至低於 dfs.replication。例如,如果 dfs.replication = 2,核心節點的最小數量為 2。

  3. 當您使用受管擴展即自動擴展,或選擇手動調整叢集大小時,建議您將 dfs.replication 設定為 2 或更高。

參數 定義 預設值
dfs.block.size HDFS 區塊大小。當對資料的操作存放在 HDFS 中時,分割大小通常會是 HDFS 區塊的大小。數字越大,精細度越少,但對叢集 NameNode 的壓力也越少。 134217728 (128 MB)
dfs.replication 每個區塊供長期存放的複本數。Amazon EMR 根據叢集佈建的核心節點數量設定此值。調整此值以符合您的需求。若要覆寫預設值,請使用 hdfs-site 分類。

1 適用於佈建少於四個核心節點的叢集

2 適用於佈建少於十個核心節點的叢集

3 適用於所有其他叢集

隱私權網站條款Cookie 偏好設定
© 2025, Amazon Web Services, Inc.或其附屬公司。保留所有權利。