Amazon EMR叢集錯誤:空間HDFS不足錯誤 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon EMR叢集錯誤:空間HDFS不足錯誤

如果您嘗試移除核心節點,但 Amazon 因為 中剩餘的空間不足EMR而無法安全地完成操作,則可能會發生 Hadoop 分散式檔案系統 (HDFS) 空間不足錯誤HDFS。在 Amazon EMR移除核心節點之前,節點HDFS上的所有資料都必須傳輸至其他核心節點,以確保資料備援。不過,如果其他核心節點上沒有足夠的空間進行複寫,Amazon EMR將無法正常停用節點。

可能原因

如需空間HDFS不足錯誤的可能原因清單,請參閱下列內容:

  • 如果您在縮減之前剩餘節點上沒有足夠的HDFS空間進行資料複寫,則手動縮減核心執行個體群組或執行個體機群。

  • 當沒有足夠的HDFS空間進行資料複寫時,受管擴展或自動擴展會縮減核心執行個體群組或執行個體機群。

  • Amazon EMR會嘗試取代運作狀態不佳的核心節點,但由於HDFS空間不足而無法安全地取代節點。

解決方案和最佳實務

如需解決方案和最佳實務,請參閱以下內容:

  • 擴展 Amazon EMR叢集中核心節點的數量。如果您使用受管擴展或自動擴展,請增加核心節點的最小容量。

  • 建立EMR叢集時,請使用較大的核心節點EBS磁碟區。

  • 刪除EMR叢集中不需要HDFS的資料。建議您設定 CloudWatch 警示來監控叢集中的HDFSUtilization指標,以了解EMR叢集是否空間不足。