將檔案系統連結至 Amazon S3 儲存貯體 - FSx 適用於 Lustre

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

將檔案系統連結至 Amazon S3 儲存貯體

您可以將 Amazon FSx for Lustre 檔案系統連結至 Amazon S3 中的資料儲存庫。您可以在建立檔案系統時或建立檔案系統之後的任何時間建立連結。

檔案系統上目錄與 S3 儲存貯體或字首之間的連結稱為資料儲存庫關聯 (DRA)。您最多可以在 FSx for Lustre 檔案系統上設定 8 個資料儲存庫關聯。最多可佇列 8 個DRA請求,但檔案系統一次只能處理一個請求。每個 DRA 都必須具有 FSx Lustre 檔案系統目錄的唯一 ,以及與其相關聯的唯一 S3 儲存貯體或字首。

注意

Lustre 2.10 檔案系統或Scratch 1檔案系統無法在 FSx 上使用資料儲存庫關聯、自動匯出和對多個資料儲存庫的支援。

若要將 S3 資料儲存庫上的物件作為檔案和目錄存取檔案系統,必須將檔案和目錄中繼資料載入檔案系統。當您使用 FSx for Lustre 檔案系統建立DRA或載入中繼資料,以便稍後使用匯入資料儲存庫任務,從連結的資料儲存庫中載入中繼資料,或使用自動匯出,在物件從資料儲存庫新增、變更或刪除時自動載入中繼資料。

您可以設定 僅DRA自動匯入、僅自動匯出,或同時設定兩者。與自動匯入和自動匯出一起設定的資料儲存庫關聯會在檔案系統和連結的 S3 儲存貯體之間雙向傳播資料。當您變更 S3 資料儲存庫中的資料時, FSx for Lustre 會偵測變更,然後自動將變更匯入檔案系統。當您建立、修改或刪除檔案時,FSx當應用程式完成修改檔案時,針對 Lustre 會自動以非同步方式將變更匯出至 Amazon S3。

重要
  • 如果您同時修改檔案系統和 S3 儲存貯體中的相同檔案,則應確保應用程式層級協調,以防止衝突。FSx for Lustre 不會防止多個位置的寫入衝突。

  • 對於標記不可變屬性的檔案,FSx對於 Lustre 無法同步 FSx for Lustre 檔案系統與連結至檔案系統的 S3 儲存貯體之間的變更。長時間設定不可變旗標可能會導致 Amazon FSx和 S3 之間的資料移動效能下降。

建立資料庫關聯時,您可以設定下列屬性:

  • 檔案系統路徑 – 在檔案系統上輸入本機路徑,該路徑指向將與下列指定資料庫路徑映射 one-to-one的目錄 (例如 /ns1/) 或子目錄 (例如 /ns1/subdir/)。名稱需要以正斜線開頭。兩個資料儲存庫關聯的檔案系統路徑不可重疊。例如,如果某個資料儲存庫已經與檔案系統路徑 /ns1 建立關聯,則您無法將其他資料儲存庫連結到檔案系統路徑 /ns1/ns2

    注意

    如果您僅指定一個正斜線 (/) 作為檔案系統路徑,則只能將一個資料儲存庫連結至檔案系統。您只能指定 "/" 作為與檔案系統關聯的第一個資料儲存庫的檔案系統路徑。

  • 資料儲存庫路徑 – 在 S3 資料儲存庫中輸入路徑。路徑可以是 S3 儲存貯體或字首,格式為 s3://bucket-name/prefix/。此屬性會指定 S3 資料儲存庫檔案中要從何處匯入或匯出。FSx 如果未提供, for Lustre 會將尾隨 "/" 附加到您的資料儲存庫路徑。例如,如果您提供 的資料儲存庫路徑s3://amzn-s3-demo-bucket/my-prefix,FSx對於 Lustre, 會將其解譯為 s3://amzn-s3-demo-bucket/my-prefix/

    兩個資料儲存庫關聯不能有重疊的資料儲存庫路徑。例如,如果具有路徑的資料庫s3://amzn-s3-demo-bucket/my-prefix/連結至檔案系統,則無法建立另一個與資料庫路徑 的資料庫關聯s3://amzn-s3-demo-bucket/my-prefix/my-sub-prefix

  • 從儲存庫匯入中繼資料 – 建立資料儲存庫關聯後,您可以選取此選項,立即從整個資料儲存庫匯入中繼資料。或者,您可以在建立資料儲存庫關聯後,隨時執行匯入資料儲存庫任務,從連結的資料儲存庫將全部或部分中繼資料載入檔案系統。

  • 匯入設定 – 選擇指定更新物件類型 (新物件、變更物件和已刪除物件的任何組合) 的匯入政策,這些物件會自動從連結的 S3 儲存貯體匯入檔案系統。當您從主控台新增資料儲存庫時,自動匯入 (新增、變更、刪除) 預設為開啟,但在使用 AWS CLI 或 Amazon FSx 時,預設為停用API。

  • 匯出設定 – 選擇匯出政策,指定將自動匯出至 S3 儲存貯體的更新物件類型 (新物件、變更物件和已刪除物件的任何組合)。當您從主控台新增資料儲存庫時,預設會開啟自動匯出 (新增、變更、刪除),但在使用 AWS CLI 或 Amazon FSx 時,預設會停用API。

檔案系統路徑資料儲存庫路徑設定可在 Amazon 中的路徑FSx和 S3 中的物件索引鍵之間提供 1:1 映射。