本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
開始使用 Amazon FSx 的光澤
接下來,您可以學習如何開始使用 Amazon FSx 的光澤。這些步驟會引導您完成建立 Amazon FSx to Lustre 檔案系統,並從運算執行個體存取該檔案系統的過程。或者,他們會示範如何使用您的 Amazon FSx to Lustre 檔案系統,透過檔案型應用程式處理 Amazon S3 儲存貯體中的資料。
此入門練習包括以下步驟。
必要條件
若要執行此入門練習,您需要下列項目:
-
具有FSx為 Lustre 檔案系統和 Amazon 執行個體建立 Amazon EC2 所需許可的 AWS 帳戶。如需詳細資訊,請參閱設定 Amazon FSx for Lustre。
-
建立要與您FSx的 For Lustre 檔案系統建立關聯的 Amazon VPC 安全群組,並且在檔案系統建立後不要變更。如需詳細資訊,請參閱若要為 Amazon FSx 檔案系統建立安全群組。
-
以 EC2 Amazon VPC 服務為基礎的虛擬私有雲端 (VPC) 中執行受支援 Linux 版本的 Amazon 執行個體。對於這個入門練習,我們建議使用 Amazon Linux 2023。您將在此EC2執行個體上安裝 Lustre 用戶端,然後在執行個體上掛載您FSx的 Lustre 檔案系統。EC2如需建立EC2執行個體的詳細資訊,請參閱 Amazon EC2 使用者指南中的入門:啟動執行個體或啟動執行個體。
光澤客戶端支持 Amazon Linux; Amazon Linux 2; Amazon Linux 2023; 紅帽企業 Linux 7.7 到 7.9, 8.2 到 8.10, 和 9.0, 9.3, 和 9.4; CentOS 7.7 到 7.9, 和 8.2 到 8.10; 岩石 Linux 8.4 到 8.10, 9.0, 9.3 SP3SP4, 和 9.4; SUSE 和SP5; 和; 和 如需詳細資訊,請參閱Lustre 文件系統和客戶端內核兼容性。
為此入門練習建立 Amazon EC2 執行個體時,請牢記以下事項:
-
建議您以預設值建立執行個體VPC。
-
建議您在建立EC2執行個體時使用預設安全性群組。
-
Lustre 檔案系統的每個FSx中繼資料伺服器都需要一個 IP 位址 (MDS),而每個儲存伺服器需要一個 IP 位址 (OSS)。
-
對於具有中繼資料組態的 Persitent_2 檔案系統,每個 12000 中繼資料IOPS值也需要檔案系統所在子網路內的一個 IP 位址。
-
持續性SSD檔案系統會以每OSS個 2.4 TiB 的儲存裝置來佈建。
-
每個輸送量容量為 12 MB/s/TiB 的持續性HDD檔案系統會佈建 6 TiB 的儲存裝置。OSS
-
每個輸送量容量為 40 MB/s/TiB 的持續性HDD檔案系統,以 1.8 TiB 的儲存裝置來佈建。OSS
-
Scratch_2 檔案系統會以每個 2.4 TiB 的儲存裝置來佈建。OSS
-
Scratch_1 檔案系統會以每個 3.6 TiB 的儲存裝置來佈建。OSS
-
Amazon S3 儲存貯體可存放資料以供您的工作負載處理。S3 儲存貯體將成為 Lustre 檔案系統的FSx連結持久資料儲存庫。
決定您要建立、暫存或FSx持續使用哪種類型的 Lustre 檔案系統的 Amazon。如需詳細資訊,請參閱FSx Lustre 檔案系統的部署選項。
步驟 1:創建您FSx的光澤文件系統
您可以在 Amazon FSx 主控台中建立檔案系統。
建立 檔案系統
-
在打開 Amazon FSx 控制台https://console.aws.amazon.com/fsx/
。 -
從儀表板中,選擇 [建立檔案系統] 以啟動檔案系統建立精靈。
-
選擇「FSxLustre」,然後選擇「下一步」以顯示「建立檔案系統」頁面。
-
在「檔案系統詳細資訊」區段中提供資訊:
對於 [檔案系統名稱-選擇性],請提供檔案系統的名稱。您最多可以使用 256 個 Unicode 字母、空格和數字加上特殊字元 +-=。_:/。
-
對於部署和儲存類型,請選擇下列其中一個選項:
SSD儲存體提供低延遲、IOPS密集型工作負載,這些工作負載通常具有小型隨機檔案作業 HDD儲存裝置提供輸送密集型工作負載,這些工作負載通常具有大型的順序檔案
如需儲存區類型的詳細資訊,請參閱多種存儲選項。
如需部署類型的詳細資訊,請參閱FSx Lustre 檔案系統的部署選項。
如需有關加密傳輸中資料可用 AWS 區域 位置的詳細資訊,請參閱加密傳輸中的資料。
針對長期儲存,以及需要最高層級/傳輸量的延遲敏感工作負載,請選擇持續性SSD部署類型。IOPS檔案伺服器具有高可用性,資料會在檔案系統的可用區域內自動複製,並支援加密傳輸中的資料。「持續」,SSD使用「持續性 2」(最新一代的持續性檔案系統)。
選擇持續性HDD部署類型,適用於長期儲存,以及不敏感延遲的輸送量集中工作負載。檔案伺服器具有高可用性,資料會在檔案系統的可用區域內自動複製,而且此類型支援加密傳輸中的資料。持續性,HDD使用持續性 1 部署類型。
選擇使用SSD快取來建立HDD儲存容量 20% 的SSD快取記憶體,以提供低IOPS於一毫秒的延遲,而且經常存取的檔案則提供更高的延遲。
選擇臨時存儲和短期數據處理的臨時存儲SSD部署類型。S@@ cratch,SSD使用 Scratch 2 文件系統,並提供數據的傳輸加密。
選擇檔案系統所需的每單位儲存體輸送量。此選項僅對持續部署類型有效。
每單位儲存體輸送量是每佈建 1 TB (TiB) 儲存區的讀取和寫入輸送量量,以 MB/S/TiB 為單位。您需要支付佈建的輸送量:
針對持續性SSD儲存裝置,請選擇 125、250、500 或 1,000 MB /TIB 的值。
對於持續性HDD儲存區,請選擇 12 或 40 MB/S/TiB 的值。
您可以在建立檔案系統之後,視需要增加或減少每個儲存單位的輸送量。如需詳細資訊,請參閱管理輸送量容量。
-
對於儲存容量,請在 TiB 中設定檔案系統的儲存容量:
對於持續性SSD部署類型,請將此值設定為 1.2 TiB、2.4 TiB 或 2.4 TiB 的增量。
對於「持續性」HDD 部署類型,此值可以在 12 MB/S/TIB 檔案系統中遞增 6.0 TiB,而對於 40 MB/S/TiB 檔案系統,此值可以是 1.8 TiB 的遞增量。
建立檔案系統之後,您可以視需要增加儲存容量。如需詳細資訊,請參閱管理儲存容量。
-
對於「中繼資料組態」,您有兩個選項可為檔案系統佈建「中繼IOPS資料」數目:
-
如果您希望 Amazon FSx 根據檔案系統的儲存容量在檔案系統IOPS上自動佈建和擴展中繼資料,請選擇 [自動] (預設值)。
-
如果您要指定要為檔案系統佈建的中繼資料IOPS數目,請選擇使用者佈建。有效值為
1500
3000
、6000
12000
、和的倍數12000
,最大值為。192000
如需詮釋資料的更多資訊IOPS,請參閱光澤的元數據性能配置。
-
-
對於「資料壓縮類型」,請選擇NONE關閉資料壓縮,或選擇LZ4使用LZ4演算法開啟資料壓縮。如需詳細資訊,請參閱Lustre 資料壓縮。
所有 Lustre 檔案系統都建立在使FSx用 Amazon 主控台建立時的 Lustre 2.15 版本。FSx
-
在 [網路與安全性] 區段中,提供下列網路和安全性群組資訊:
對於虛擬私人雲端 (VPC),請選擇您VPC要與檔案系統建立關聯的項目。在此入門練習中,請選擇您為 Amazon EC2 執行VPC個體選擇的相同項目。
對於VPC安全性群組,您的預設安全性群組的 ID VPC 應該已經新增。如果您未使用預設安全性群組,請確定已將下列輸入規則新增至您用於此入門練習的安全性群組。
Type 通訊協定 連接埠範圍 來源 描述 所有 TCP TCP 0-65535 自訂 此安全性群組的 _ID__F
入境光澤流量規則 下列螢幕擷取顯示編輯輸入規則的範例。
重要
請確定您使用的安全性群組遵循中提供的組態指示使用 Amazon VPC 進行檔案系統存取控制。您必須設定安全性群組CIDR,以允許來自安全性群組本身或完整子網路 (允許檔案系統主機相互通訊) 連接埠 988 和 1018-1023 的輸入流量。
-
對於子網路,請從可用子網路清單中選擇任何值。
-
在「加密」區段中,可用的選項會因您建立的檔案系統類型而有所不同:
-
對於持續性檔案系統,您可以選擇 AWS Key Management Service (AWS KMS) 加密金鑰來加密靜態檔案系統上的資料。
-
對於暫存檔案系統,靜態資料會使用管理的金鑰加密 AWS。
-
對於 Scratch 2 和永久性檔案系統,從支援的 Amazon EC2 執行個體類型存取檔案系統時,傳輸中的資料會自動加密。如需詳細資訊,請參閱加密傳輸中的資料。
-
-
對於「資料儲存庫 Import/Export-選用」區段,依預設會停用將檔案系統連結至 Amazon S3 資料儲存庫。如需啟用此選項以及建立與現有 S3 儲存貯體之資料儲存庫關聯的詳細資訊,請參閱在建立檔案系統時連結 S3 儲存貯體 (主控台)。
重要
選取此選項也會停用備份,您將無法在建立檔案系統時啟用備份。
如果您將一個或多個 Amazon FSx to Lustre 檔案系統連結到 Amazon S3 儲存貯體,請在刪除所有連結的檔案系統之前,不要刪除 Amazon S3 儲存貯體。
-
對於記錄-選用,預設為啟用記錄。啟用後,檔案系統上資料儲存庫活動的故障和警告會記錄到 Amazon CloudWatch Logs。如需有關配置記錄的資訊,請參閱管理記錄。
-
在 Backup 和維護-可選中,您可以執行以下操作。
對於每日自動備份:
-
禁用每日自動備份。除非您啟用「資料儲存庫 Import /Export」,否則此選項預設為啟用。
-
設置每日自動備份窗口的開始時間。
-
設定自動備份保留期間,範圍為 1-35 天。
如需詳細資訊,請參閱使用備份。
-
-
設定「每週維護時段」 開始時間,或將其設定為預設 「否」偏好設定。
-
對於根壁球-可選,默認情況下禁用根壁球。若要取得有關啟用和配置根壁球的資訊,請參閱要在創建文件系統時啟用根壁球(控制台)。
-
建立您要套用至檔案系統的任何標籤。
-
選擇下一步,顯示 [建立檔案系統摘要] 頁面。
-
檢閱 Amazon FSx for Lustre 檔案系統的設定,然後選擇 [建立檔案系統]。
現在您已經建立了檔案系統,請記下其完整網域名稱和掛載名稱,以便稍後執行。您可以在快取儀表板中選擇檔案系統的名稱,然後選擇附加,來尋找檔案系統的完整網域名稱和掛載名稱。
步驟 2:安裝和配置 Lustre 客戶端
在您可以從 Amazon 實FSx例訪問您的 Amazon Lustre 文件系統之前,您必須EC2執行以下操作:
確認您的EC2執行個體符合最低核心需求。
如有需要,請更新核心。
下載並安裝 Lustre 客戶端。
檢查核心版本並下載 Lustre 用戶端
-
在執行個EC2體上開啟終端機視窗。
-
執行下列命令,判斷您的運算執行個體目前正在執行的核心。
uname -r
-
執行以下任意一項:
-
如果指令針對以 x86
6.1.79-99.167.amzn2023.x86_64
為基礎的執行個體傳回,6.1.79-99.167.amzn2023.aarch64
或針對以 Graviton2 EC2 為基礎的EC2執行個體傳回更高版本,請使用下列指令下載並安裝 Lustre 用戶端。sudo dnf install -y lustre-client
-
如果命令傳回的結果小於 x86 執行個EC2體,或低於以 Graviton2
6.1.79-99.167.amzn2023.x86_64
為基礎的執行個體傳回6.1.79-99.167.amzn2023.aarch64
的結果,請EC2執行下列命令來更新核心並重新啟動 Amazon EC2 執行個體。sudo dnf -y update kernel && sudo reboot
使用uname -r指令確認核心已更新。然後下載並安裝 Lustre 客戶端,如上所述。
如需在其他 Linux 發行版本上安裝 Lustre 用戶端的相關資訊,請參閱。安裝光澤客戶端
-
步驟 3:掛載檔案系統
若要掛載檔案系統,您需要建立掛載目錄或掛載點,然後將檔案系統掛載到用戶端上,並確認您的用戶端是否可以存取檔案系統。
若要掛載您的檔案系統
-
使用以下命令建立掛載點的目錄。
sudo mkdir -p /mnt/fsx
-
將 Amazon FSx for Lustre 檔案系統掛載到您建立的目錄。使用下列命令並取代下列項目:
以實際檔案系統的網域名稱系統 (DNS) 名稱取代。file_system_dns_name
以檔案系統的掛載名稱取代
,您可以透過執行describe-file-systems AWS CLI 指令或DescribeFileSystemsAPI作業取得此名稱。mountname
sudo mount -t lustre -o relatime,flock
file_system_dns_name
@tcp:/mountname
/mnt/fsx此指令會以兩個選項掛載您的檔案系統,
-o relatime
並且flock
:-
relatime
— 雖然選atime
項會在每次存取檔案時維護atime
(inode 存取時間) 資料,但該relatime
選項也會維護atime
資料,但不會在每次存取檔案時保留資料。啟用此relatime
選項後,只有在atime
資料上次更新 (mtime
) 後修改檔案,或檔案上次存取超過特定時間 (預設為 6 小時) 時,才會將atime
資料寫入磁碟。使用relatime
或選atime
項將最佳化檔案發行程序。注意
如果您的工作負載需要精確的存取時間準確性,您可以使用掛載選項進行
atime
裝載。不過,這樣做可能會增加維持精確存取時間值所需的網路流量,影響工作負載效能。如果您的工作負載不需要中繼資料存取時間,使用
noatime
掛載選項停用存取時間的更新可提升效能。請atime
注意,文件發布或發布數據有效性等重點過程在其發布中將不正確。 -
flock
— 啟用檔案系統的檔案鎖定。如果您不想啟用檔案鎖定,請使用不含檔案鎖定的mount
指令flock
。
-
使用下列指令列出您掛載檔案系統的目錄內容
/mnt/fsx
,以確認 mount 指令是否成功。ls /mnt/fsx
import-path lustre $您也可以使用下面的
df
命令。df Filesystem 1K-blocks Used Available Use% Mounted on devtmpf 1001808 0 1001808 0% /dev tmpfs 1019760 0 1019760 0% /dev/shm tmpfs 1019760 392 1019368 1% /run tmpfs 1019760 0 1019760 0% /sys/fs/cgroup /dev/xvda1 8376300 1263180 7113120 16% / 123.456.789.0@tcp:/
mountname
3547698816 13824 3547678848 1% /mnt/fsx tmpfs 203956 0 203956 0% /run/user/1000結果顯示在 /mnt/fsx 上掛載的 Amazon FSx 檔案系統。
步驟 4:執行您的工作流程
現在您的檔案系統已建立並掛接到運算執行個體,您可以使用它來執行高效能運算工作負載。
您可以建立資料儲存庫關聯,將檔案系統連結至 Amazon S3 資料儲存庫。如需詳細資訊,請參閱將檔案系統連結至 Amazon S3 儲存貯體。
將檔案系統連結至 Amazon S3 資料儲存庫之後,您可以隨時將寫入檔案系統的資料匯出回 Amazon S3 儲存貯體。從其中一個運算執行個體上的終端機執行下列命令,將檔案匯出到 Amazon S3 儲存貯體。
sudo lfs hsm_archive
file_name
如需如何在資料夾或大量檔案上快速執行此命令的詳細資訊,請參閱使用HSM命令匯出檔案。
步驟 5:清除 資源
完成這個練習之後,您應該依照下列步驟清理資源並保護您的 AWS 帳戶。
清理資源
-
如果您要進行最終匯出,請執行下列命令。
nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &
-
在 Amazon 主EC2控台上,終止您的執行個體。如需詳細資訊,請參閱 Amazon EC2 使用者指南中的終止執行個體。
-
在 Amazon FSx 版 Lustre 主控台上,按照下列步驟刪除您的檔案系統:
-
在瀏覽窗格中,選擇 [檔案系統]。
-
從儀表板上的檔案系統清單中選擇要刪除的檔案系統。
-
針對 Actions (動作),選擇 Delete file system (刪除檔案系統)。
-
在出現的對話方塊中,選擇是否要對檔案系統進行最終備份。然後提供檔案系統 ID 以確認刪除。選擇 [刪除檔案系統]。
-
-
如果您為此練習建立了 Amazon S3 儲存貯體,而且不想保留匯出的資料,現在可以將其刪除。如需詳細資訊,請參閱 Amazon 簡單儲存服務使用者指南中的刪除儲存貯體。