自動將更新匯出至 S3 儲存貯體 - FSx 適用於 Lustre

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

自動將更新匯出至 S3 儲存貯體

您可以設定 FSx for Lustre 檔案系統,在檔案系統上新增、變更或刪除檔案時,自動更新連結 S3 儲存貯體的內容。FSx for Lustre 會在 S3 中建立、更新或刪除物件,對應於檔案系統中的變更。

注意

FSx Lustre 2.10 檔案系統或Scratch 1檔案系統無法在 上自動匯出。

您可以匯出至 AWS 區域 與檔案系統相同或位於不同 中的資料儲存庫 AWS 區域。

您可以在建立資料儲存庫關聯時設定自動匯出,並隨時使用FSx管理主控台、 AWS CLI和 更新自動匯出設定 AWS API。

重要
  • 如果在已啟用所有自動匯出政策且已停用自動匯入的情況下在檔案系統中修改檔案,則該檔案的內容一律會匯出至 S3 中的對應物件。如果目標位置中已存在物件,則會覆寫物件。

  • 如果在檔案系統和 S3 中修改檔案,並啟用所有自動匯入和自動匯出政策,則檔案系統中的檔案或 S3 中的物件可能會被另一個覆寫。不保證某個位置的稍後編輯會覆寫另一個位置的較早編輯。如果您在檔案系統和 S3 儲存貯體中修改相同的檔案,則應確保應用程式層級協調,以防止此類衝突。FSx for Lustre 不會防止多個位置的寫入衝突。

匯出政策指定您希望 FSx Lustre 在檔案系統中內容變更時,如何更新連結的 S3 儲存貯體。資料儲存庫關聯可以具有下列其中一個自動匯出政策:

  • – FSx 只有在檔案系統上建立新檔案、目錄或符號連結時,對於 Lustre 會自動更新 S3 資料儲存庫。

  • 已變更 – FSx 只有在變更檔案系統中的現有檔案時,Lustre 才會自動更新 S3 資料儲存庫。對於檔案內容變更,檔案必須先關閉,才能傳播到 S3 儲存庫。中繼資料變更 (重新命名、所有權、許可和時間戳記) 會在操作完成時傳播。對於重新命名變更 (包括移動),會刪除現有 (已重新命名) S3 物件,並使用新名稱建立新的 S3 物件。

  • 已刪除 – FSx 只有在檔案系統中刪除檔案、目錄或符號連結時,Lustre 才會自動更新 S3 資料儲存庫。

  • 新增、變更和刪除的任意組合 – FSx 當檔案系統中發生任何指定動作時,適用於 Lustre 的 會自動更新 S3 資料儲存庫。例如,您可以指定在將檔案新增至檔案系統 (新增 ) 或從檔案系統中移除 (已刪除 ) 時更新 S3 儲存庫,而不是在變更檔案時更新。

  • 未設定任何政策 – FSx 對 Lustre 而言,當檔案從檔案系統新增、變更或刪除時,不會自動更新 S3 資料儲存庫。如果您未設定匯出政策,則會停用自動匯出。您仍然可以使用匯出資料庫任務手動匯出變更,如 中所述使用資料庫任務匯出變更

對於大多數使用案例,建議您設定已變更 已刪除 的匯出政策。此政策可確保在檔案系統上進行的所有更新都會自動匯出至連結的 S3 資料儲存庫。

建議您開啟記錄 CloudWatch 日誌,以記錄無法自動匯出的任何檔案或目錄的相關資訊。日誌中的警告和錯誤包含失敗原因的相關資訊。如需詳細資訊,請參閱資料儲存庫事件記錄

注意

當存取時間 (atime) 和修改時間 (mtime) 在匯出操作期間與 S3 同步時,單獨變更這些時間戳記不會觸發自動匯出。只有變更檔案內容或其他中繼資料 (例如擁有權或許可) 才會觸發自動匯出至 S3。

更新匯出設定

您可以在建立資料庫關聯時,將檔案系統的匯出設定設為連結的 S3 儲存貯體。如需詳細資訊,請參閱建立 S3 儲存貯體的連結

您也可以隨時更新匯出設定,包括匯出政策。如需詳細資訊,請參閱更新資料庫關聯設定

監控自動匯出

您可以使用一組發佈至 Amazon 的指標來監控已啟用自動匯出的資料庫關聯 CloudWatch。AgeOfOldestQueuedMessage 指標代表尚未匯出至 S3 的檔案系統最舊更新的時間。如果 長時間AgeOfOldestQueuedMessage大於零,建議您暫時減少對檔案系統主動進行的變更數目 (特別是目錄重新命名),直到訊息佇列減少為止。如需詳細資訊,請參閱FSx 適用於 Lustre S3 儲存庫指標

重要

刪除已啟用自動匯出的資料儲存庫關聯或檔案系統時,應先確定 AgeOfOldestQueuedMessage 為零,這表示沒有尚未匯出的變更。如果您在刪除資料儲存庫關聯或檔案系統時AgeOfOldestQueuedMessage大於零,則尚未匯出的變更將不會到達連結的 S3 儲存貯體。若要避免這種情況,請等待 AgeOfOldestQueuedMessage 達到零,再刪除您的資料庫關聯或檔案系統。