本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
使用舊版部署類型
本節適用於具有 Scratch 1 部署類型的檔案系統,以及具有Scratch 2
或不使用資料儲存庫關聯的Persistent 1
部署類型的檔案系統。
將您的檔案系統連結至 Amazon S3 儲存貯體
當您建立適用FSx於 Lustre 的亞馬遜檔案系統時,可以將其連結到 Amazon S3 中的耐用資料儲存庫。在建立檔案系統之前,請確定您已建立要連結的 Amazon S3 儲存貯體。在「建立檔案系統」精靈中,您可以在選擇性的「資料儲存庫 Import/Export」窗格中設定下列資料儲存庫組態
-
選擇 Amazon 在檔案系統建立後在 S3 儲存貯體中新增或修改物件時,如何FSx讓檔案和目錄清單保持最新狀態。如需詳細資訊,請參閱從 S3 儲存貯體自動匯入更新。
-
匯入儲存貯體:輸入要用於連結存放庫的 S3 儲存貯體的名稱。
-
匯入前置詞:如果您只想將 S3 儲存貯體中資料的某些檔案和目錄清單匯入檔案系統,請輸入選用的匯入前置詞。匯入前置詞定義 S3 儲存貯體中要從哪裡匯入資料。
-
匯出前置詞:定義 Amazon 將檔案系統內容FSx匯出到連結的 S3 儲存貯體的位置。
您可以有一個 1:1 映射,Amazon FSx 將資料從您FSx的 Lustre 檔案系統匯出回 S3 儲存貯體上的相同目錄。若要使用 1:1 對應,請在建立檔案系統時指定 S3 儲存貯體的匯出路徑,不含任何前置詞。
使用此方法,您可以在指定匯入路徑時包含匯入前置詞,而且不會影響匯出的 1:1 對應。
建立連結至 S3 儲存貯體的檔案系統
下列程序會引導您完成使用 AWS 管理主控台和 AWS
命令列界面 (AWS CLI) 建立連結至 S3 儲存貯體的 Amazon FSx 檔案系統的程序。
- Console
-
-
在打開 Amazon FSx 控制台https://console.aws.amazon.com/fsx/。
-
從儀表板中,選擇 [建立檔案系統]。
-
針對檔案系統類型,選擇 FSxLustre,然後選擇 [下一步]。
-
提供檔案系統詳細資料以及網路和安全性區段所需的資訊。如需詳細資訊,請參閱步驟 1:創建您FSx的光澤文件系統。
-
您可以使用資料儲存庫匯入/匯出面板在 Amazon S3 中設定連結的資料儲存庫。選取從 S3 匯入資料並將資料匯出至 S3 以展開「資料儲存庫匯入 Import /Export 匯出」區段,並設定資料儲存庫設定。
-
選擇 Amazon 在 S3 儲存貯體中新增或修改物件時,如何FSx讓檔案和目錄清單保持最新狀態。建立檔案系統時,現有的 S3 物件會顯示為檔案和目錄清單。
-
當物件新增到 S3 儲存貯體時,更新我的檔案和目錄清單:(預設) Amazon FSx 會自動更新新增至連結 S3 儲存貯體 (目前不存在於FSx檔案系統中) 的任何新物件的檔案和目錄清單。Amazon FSx 不會更新 S3 儲存貯體中已變更物件的清單。Amazon FSx 不會刪除 S3 儲存貯體中刪除的物件清單。
使用 and API is 從連結的 S3 儲存貯體匯入資料的預設匯入偏好設定設定NONE
。CLI使用主控台時的預設匯入偏好設定是在新物件新增至 S3 儲存貯體時更新 Lustre。
-
在 S3 儲存貯體中新增或變更物件時更新我的檔案和目錄清單:選擇此選項後,Amazon FSx 會自動更新新增至 S3 儲存貯體的任何新物件的檔案和目錄清單,以及 S3 儲存貯體中已變更的任何現有物件的檔案和目錄清單。Amazon FSx 不會刪除 S3 儲存貯體中刪除的物件清單。
-
在 S3 儲存貯體中新增、變更或刪除物件時更新我的檔案和目錄清單:Amazon FSx 會自動更新新增至 S3 儲存貯體的任何新物件、S3 儲存貯體中已變更的任何現有物件,以及選擇此選項後在 S3 儲存貯體中刪除的任何現有物件的檔案和目錄清單。
-
當物件新增至 S3 儲存貯體、變更或從 S3 儲存貯體中刪除物件時,請勿更新我的檔案並直接列出-Amazon FSx 只會在建立檔案系統時更新連結 S3 儲存貯體中的檔案和目錄清單。FSx選擇此選項後,不會更新任何新物件、已變更或已刪除物件的檔案和目錄清單。
-
如果您只想要將 S3 儲存貯體中的某些檔案和目錄清單匯入檔案系統,請輸入選用的 Import 前置詞。匯入前置詞定義 S3 儲存貯體中要從哪裡匯入資料。如需詳細資訊,請參閱從 S3 儲存貯體自動匯入更新。
-
選擇其中一個可用的「匯出字首」選項:
-
Amazon 在儲存貯體中FSx建立的唯一前置詞:選擇此選項可使用由 Lustre 產生的前置碼匯出新物件和變更FSx的物件。前綴如下所示:/FSxLustrefile-system-creation-
timestamp
。例如,時間戳記的UTC格式為FSxLustre20181105T222312Z
。
-
您從中匯入的相同字首 (以更新的物件取代現有物件):選擇此選項可以使用更新的物件取代既有物件。
-
您指定的字首:選擇此選項可保留匯入的資料,並使用您指定的字首匯出新物件和變更的物件。若要在將資料匯出到 S3 儲存貯體時實現 1:1 對應,請選擇此選項,並將前置字元欄位保留空白。FSx將數據導出到從中導入的相同目錄。
-
(選擇性) 設定 「維護」偏好設定,或使用系統預設值。
-
選擇 [下一步],然後檢閱檔案系統設定。視需要進行任何變更。
-
選擇 Create file system (建立檔案系統)。
- AWS CLI
-
下列範例會建立連結至的 Amazon FSx 檔案系統amzn-s3-demo-bucket
,匯入偏好設定會在檔案系統建立之後,在連結的資料儲存庫中匯入任何新的、已變更和已刪除的檔案。
使用 and is 從連結的 S3 儲存貯體匯入資料的預設匯入偏好設定NONE
,API這CLI與使用主控台時的預設行為不同。
要創建一個FSx為 Lustre 文件系統,請使用 Amazon 命FSxCLI令 create-file-system
,如下所示。相應的API操作是CreateFileSystem
。
$ aws fsx create-file-system \
--client-request-token CRT1234 \
--file-system-type LUSTRE \
--file-system-type-version 2.10 \
--lustre-configuration
AutoImportPolicy=NEW_CHANGED_DELETED,DeploymentType=SCRATCH_1,ImportPath=s
3://amzn-s3-demo-bucket/,ExportPath=s3://amzn-s3-demo-bucket/export,
PerUnitStorageThroughput=50 \
--storage-capacity 2400 \
--subnet-ids subnet-123456 \
--tags Key=Name,Value=Lustre-TEST-1 \
--region us-east-2
成功建立檔案系統之後,Amazon 會FSx傳回檔案系統說明JSON,如下列範例所示。
{
"FileSystems": [
{
"OwnerId": "owner-id-string",
"CreationTime": 1549310341.483,
"FileSystemId": "fs-0123456789abcdef0",
"FileSystemType": "LUSTRE",
"FileSystemTypeVersion": "2.10",
"Lifecycle": "CREATING",
"StorageCapacity": 2400,
"VpcId": "vpc-123456",
"SubnetIds": [
"subnet-123456"
],
"NetworkInterfaceIds": [
"eni-039fcf55123456789"
],
"DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
"ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
"Tags": [
{
"Key": "Name",
"Value": "Lustre-TEST-1"
}
],
"LustreConfiguration": {
"DeploymentType": "PERSISTENT_1",
"DataRepositoryConfiguration": {
"AutoImportPolicy": "NEW_CHANGED_DELETED",
"Lifecycle": "UPDATING",
"ImportPath": "s3://amzn-s3-demo-bucket/",
"ExportPath": "s3://amzn-s3-demo-bucket/export",
"ImportedFileChunkSize": 1024
},
"PerUnitStorageThroughput": 50
}
}
]
}
檢視檔案系統的匯出路徑
您可以使用 Lustre 主控台 AWS CLI、和. FSx API
- Console
-
- CLI
-
若要決定檔案系統的匯出路徑,請使用describe-file-systems
AWS CLI指令。
aws fsx describe-file-systems
在回應中尋找下LustreConfiguration
的ExportPath
屬性。
{
"OwnerId": "111122223333",
"CreationTime": 1563382847.014,
"FileSystemId": "",
"FileSystemType": "LUSTRE",
"Lifecycle": "AVAILABLE",
"StorageCapacity": 2400,
"VpcId": "vpc-6296a00a",
"SubnetIds": [
"subnet-1111111"
],
"NetworkInterfaceIds": [
"eni-0c288d5b8cc06c82d",
"eni-0f38b702442c6918c"
],
"DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
"ResourceARN": "arn:aws:fsx:us-east-2:267731178466:file-system/fs-0123456789abcdef0",
"Tags": [
{
"Key": "Name",
"Value": "Lustre System"
}
],
"LustreConfiguration": {
"DeploymentType": "SCRATCH_1",
"DataRepositoryConfiguration": {
"AutoImportPolicy": " NEW_CHANGED_DELETED",
"Lifecycle": "AVAILABLE",
"ImportPath": "s3://amzn-s3-demo-bucket/",
"ExportPath": "s3://amzn-s3-demo-bucket/FSxLustre20190717T164753Z"
,
"ImportedFileChunkSize": 1024
}
},
"PerUnitStorageThroughput": 50,
"WeeklyMaintenanceStartTime": "6:09:30"
}
資料庫生命週期狀態
資料儲存庫生命週期狀態提供有關檔案系統連結資料儲存庫的狀態資訊。資料存放庫可具有下列生命週期狀態。
-
建立:Amazon FSx 正在檔案系統和連結的資料儲存庫之間建立資料儲存庫組態。資料儲存庫無法使用。
-
可用:資料儲存庫可供使用。
-
更新:資料儲存庫組態正在進行客戶啟動的更新,可能會影響其可用性。
-
設定錯誤:在更正資料儲存庫組態之前,Amazon FSx 無法自動從 S3 儲存貯體匯入更新。如需詳細資訊,請參閱疑難排解連結 S3 儲存貯體設定錯誤。
您可以使用 Amazon FSx 主控台、 AWS 命令列界面和 Amazon,檢視檔案系統的連結資料儲存庫生命週期狀態FSxAPI。在 Amazon FSx 主控台中,您可以在檔案系統「資料儲存庫」索引標籤的「資料儲存庫整合」窗格中存取資料儲存庫生命週期狀態。該Lifecycle
屬性位於DataRepositoryConfiguration
對象中的一個describe-file-systems
CLI命令的響應(等效的API操作是 DescribeFileSystems
)。
從 S3 儲存貯體自動匯入更新
根據預設,當您建立新的檔案系統時,Amazon 會在建立檔案系統時FSx匯入連結 S3 儲存貯體中物件的檔案中繼資料 (名稱、擁有權、時間戳記和許可)。您可以將 For Lustre 檔案系統設定FSx為在檔案系統建立後,自動匯入新增、變更或從 S3 儲存貯體中刪除之物件的中繼資料。FSxin Lustre 會在建立已變更物件之後,以與在建立檔案系統時匯入檔案中繼資料相同的方式來更新變更物件的檔案和目錄清單。Amazon FSx 更新已變更物件的檔案和目錄清單時,如果 S3 儲存貯體中已變更的物件不再包含其中繼資料,Amazon 會FSx維護檔案目前的中繼資料值,而非使用預設許可。
匯入設定適用FSx於 2020 年 7 月 23 日下午 3 時EDT後建立的 Lustre 檔案系統。
您可以在建立新檔案系統時設定匯入偏好設定,也可以使用FSx管理主控台、和更新現有檔案系統上 AWS CLI的設定 AWS API。建立檔案系統時,現有的 S3 物件會顯示為檔案和目錄清單。建立檔案系統之後,您要如何在 S3 儲存貯體的內容更新時進行更新? 檔案系統可以有下列其中一個「匯入」偏好設定:
Lustre 檔案系統及其連結的 S3 儲存貯體必須位於相同 AWS 區域,才能自動匯入更新。FSx
-
當物件新增到 S3 儲存貯體時,更新我的檔案和目錄清單:(預設) Amazon FSx 會自動更新新增至連結 S3 儲存貯體 (目前不存在於FSx檔案系統中) 的任何新物件的檔案和目錄清單。Amazon FSx 不會更新 S3 儲存貯體中已變更物件的清單。Amazon FSx 不會刪除 S3 儲存貯體中刪除的物件清單。
使用 and API is 從連結的 S3 儲存貯體匯入資料的預設匯入偏好設定設定NONE
。CLI使用主控台時的預設匯入偏好設定是在新物件新增至 S3 儲存貯體時更新 Lustre。
-
在 S3 儲存貯體中新增或變更物件時更新我的檔案和目錄清單:選擇此選項後,Amazon FSx 會自動更新新增至 S3 儲存貯體的任何新物件的檔案和目錄清單,以及 S3 儲存貯體中已變更的任何現有物件的檔案和目錄清單。Amazon FSx 不會刪除 S3 儲存貯體中刪除的物件清單。
-
在 S3 儲存貯體中新增、變更或刪除物件時更新我的檔案和目錄清單:Amazon FSx 會自動更新新增至 S3 儲存貯體的任何新物件、S3 儲存貯體中已變更的任何現有物件,以及選擇此選項後在 S3 儲存貯體中刪除的任何現有物件的檔案和目錄清單。
-
當物件新增至 S3 儲存貯體、變更或從 S3 儲存貯體中刪除物件時,請勿更新我的檔案並直接列出-Amazon FSx 只會在建立檔案系統時更新連結 S3 儲存貯體中的檔案和目錄清單。FSx選擇此選項後,不會更新任何新物件、已變更或已刪除物件的檔案和目錄清單。
當您設定匯入偏好設定以根據連結 S3 儲存貯體中的變更更新檔案系統檔案和目錄清單時,Amazon FSx 會在名為的連結 S3 儲存貯體上建立事件通知組態FSx
。請勿修改或刪除 S3 儲存貯體上的FSx
事件通知組態,這樣可防止自動將新的或變更的檔案和目錄清單匯入到您的檔案系統。
Amazon FSx 更新已在連結 S3 儲存貯體上變更的檔案清單時,即使檔案為寫入鎖定,也會以更新版本覆寫本機檔案。同樣地,當 Amazon 在連結的 S3 儲存貯體上刪除對應物件時FSx更新檔案清單時,即使檔案已寫入鎖定,也會刪除本機檔案。
Amazon FSx 會盡最大努力更新您的文件系統。在下列情況下,Amazon FSx 無法使用變更來更新檔案系統:
其中一種情況都會導致資料存放庫生命週期狀態變為「設定錯誤」。如需詳細資訊,請參閱資料庫生命週期狀態。
必要條件
Amazon FSx 需要以下條件才能從連結的 S3 儲存貯體自動匯入新的、變更或刪除的檔案:
-
檔案系統及其連結的 S3 儲存貯體必須位於相同 AWS
區域。
-
S3 儲存貯體沒有設定錯誤的生命週期狀態。如需詳細資訊,請參閱資料庫生命週期狀態。
-
您的帳戶必須具有在連結的 S3 儲存貯體上設定和接收事件通知所需的許可。
支援的檔案變更類型
Amazon FSx 支援將下列變更匯入至連結 S3 儲存貯體中發生的檔案和資料夾:
-
檔案內容的變更
-
檔案或資料夾中繼資料的變更
-
符號連結目標或中繼資料的變更
更新匯入偏好
您可以在建立新檔案系統時設定檔案系統的匯入偏好設定。如需詳細資訊,請參閱將檔案系統連結至 Amazon S3 儲存貯體。
您也可以在使用 AWS
管理主控台、、和 Amazon 建立檔案系統的匯入偏好設定之後,更新檔案系統的匯入偏好設定 FSxAPI,如下列程序所示。 AWS CLI
- Console
-
- CLI
-
若要更新匯入偏好設定,請使用update-file-system
CLI指令。相應的API操作是UpdateFileSystem
。
成功更新檔案系統之後AutoImportPolicy
,Amazon 會FSx傳回已更新檔案系統的說明JSON,如下所示:
{
"FileSystems": [
{
"OwnerId": "111122223333",
"CreationTime": 1549310341.483,
"FileSystemId": "fs-0123456789abcdef0",
"FileSystemType": "LUSTRE",
"Lifecycle": "UPDATING",
"StorageCapacity": 2400,
"VpcId": "vpc-123456",
"SubnetIds": [
"subnet-123456"
],
"NetworkInterfaceIds": [
"eni-039fcf55123456789"
],
"DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
"ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
"Tags": [
{
"Key": "Name",
"Value": "Lustre-TEST-1"
}
],
"LustreConfiguration": {
"DeploymentType": "SCRATCH_1",
"DataRepositoryConfiguration": {
"AutoImportPolicy": "NEW_CHANGED_DELETED",
"Lifecycle": "UPDATING",
"ImportPath": "s3://amzn-s3-demo-bucket/",
"ExportPath": "s3://amzn-s3-demo-bucket/export",
"ImportedFileChunkSize": 1024
}
"PerUnitStorageThroughput": 50,
"WeeklyMaintenanceStartTime": "2:04:30"
}
}
]
}