共用儲存 - AWS ParallelCluster

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

共用儲存

AWS ParallelCluster 支援使用 Amazon EBSFSx for ONTAPFSx for OpenZFS 共用儲存磁碟區、Amazon EFS and FSx for Lustre 共用儲存檔案系統,或 File Caches 。建議您遵循AWS 架構良好的架構可靠性支柱指引,並備份磁碟區和檔案系統。

選取符合您HPC應用程式 I/O 需求的儲存系統。您可以根據特定使用案例來最佳化每個檔案系統。如需詳細資訊,請參閱儲存選項概觀

Amazon EBS磁碟區會連接至主機節點,並透過 與運算節點共用NFS。此選項可以符合成本效益,但效能取決於儲存需求擴展時的前端節點資源。當叢集中新增更多運算節點,且輸送量需求增加時,這可能會成為瓶頸。

Amazon EFS 檔案系統會隨著儲存需求變更而擴展。您可以針對各種使用案例設定這些檔案系統。使用 Amazon EFS 檔案系統在叢集上執行平行處理和延遲敏感的應用程式。

FSx for Lustre 檔案系統可以處理高達每秒數百 GB 輸送量IOPS、數百萬個 和低於毫秒延遲的大型資料集。FSx 用於 Lustre 檔案系統,用於嚴苛的高效能運算環境。

在 中SharedStorage 區段,您可以定義外部或 AWS ParallelCluster 受管儲存體:

  • 外部儲存體是指您管理的現有磁碟區或檔案系統。 AWS ParallelCluster 不會建立或刪除此儲存體。

  • 受管儲存是指 AWS ParallelCluster 建立且可刪除的磁碟區或檔案系統。

外部儲存

您可以設定 AWS ParallelCluster ,以在建立或更新叢集時將外部儲存體連接至叢集。同樣地,您也可以將其設定為在刪除或更新叢集時,從叢集分離外部儲存體。您的資料會保留,您可以在叢集生命週期之外將其用於長期永久共用儲存。

注意

3.8 AWS ParallelCluster 之前的 版本不允許將外部受管檔案系統掛載到 /home。從 3.8 版開始, AWS ParallelCluster 可讓您將 /home用作外部受管檔案系統的掛載點。您可以透過/home指定 /home作為 MountDir 參數的值,將外部受管檔案系統掛載至 SharedStorage 區段

Amazon File Cache 不適合用作系統/home目錄,因此目前不支援掛載 /home

SharedStorage 區段SharedStorageType組態選項下指定/home目錄時,將覆寫 ,這意味著SharedStorage 區段將改用 中的設定。

將外部檔案系統掛載到/home目錄時, 會將主機節點/home的內容 AWS ParallelCluster 複製到外部檔案系統,而不會覆寫外部儲存體上的現有檔案。這包括在外部檔案系統上不存在時,轉移預設使用者的叢集SSH金鑰。如需詳細資訊,請參閱 AWS ParallelCluster 共用儲存考量

AWS ParallelCluster 受管儲存

AWS ParallelCluster 根據預設, 受管儲存取決於組態中叢集的生命週期。SharedStorage DeletionPolicy 組態參數Delete預設為 。

根據預設,如果下列其中一項為 true,則會刪除 AWS ParallelCluster 受管檔案系統或磁碟區及其資料。

  • 您刪除叢集。

  • 您可以變更受管共用儲存組態 Name

  • 您可以從組態中移除受管共用儲存體。

DeletionPolicy 將 設定為 Retain以保留受管共用檔案系統或磁碟區和資料。建議您定期備份資料,以避免資料遺失。您可以使用 AWS Backup 來集中管理所有儲存選項的備份。

您可以使用組態設定移除生命週期相依性。如需詳細資訊,請參閱將 AWS ParallelCluster 受管儲存體轉換為外部儲存體

如需共用儲存配額的相關資訊,請參閱 共用儲存的配額

如需共用儲存和切換至新 AWS ParallelCluster 版本的詳細資訊,請參閱 最佳實務:將叢集移至新的 AWS ParallelCluster 次要或修補程式版本

您可以設定 AWS ParallelCluster ,以在建立或更新叢集時將外部儲存體連接至叢集。同樣地,您可以將其設定為在刪除或更新叢集時,從叢集分離外部儲存體。您的資料會保留,而且您可以將其用於與叢集生命週期無關的長期永久共用儲存解決方案。

根據預設,受管儲存取決於叢集的生命週期。您可以使用 中所述的組態設定來移除相依性將 AWS ParallelCluster 受管儲存體轉換為外部儲存體

透過特定設定,您可以針對使用案例最佳化每個支援的儲存解決方案。

如需共用儲存配額,請參閱 共用儲存的配額

如需共用儲存和切換至新 AWS ParallelCluster 版本的詳細資訊,請參閱 最佳實務:將叢集移至新的 AWS ParallelCluster 次要或修補程式版本

下列主題說明如何為 AWS ParallelCluster 支援的每個儲存服務設定共用儲存。