本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
什麼是 Amazon FSx 的光澤?
FSxFor Lustre 使啟動和運行流行的高性能 Lustre 文件系統變得容易且具有成本效益。您可以將 Lustre 用於速度很重要的工作負載,例如機器學習、高效能運算 (HPC)、視訊處理和財務建模。
開放原始碼 Lustre 檔案系統是專為需要快速儲存的應用程式所設計,因為您希望儲存裝置能夠跟上運算速度。Lustre 旨在解決快速,便宜地處理世界上不斷增長的數據集的問題。這是一個廣泛使用的文件系統,專為世界上最快的計算機而設計。它提供低於一毫秒的延遲、高達數百個輸送量,以及高達GBps數百萬個。IOPS如需更多有關光澤的資訊,請參閱 Lu
作為一項全受管服務,Amazon 可FSx讓您更輕鬆地將 Lustre 用於儲存速度很重要的工作負載。FSxFor Lustre 消除了設置和管理 Lustre 文件系統的傳統複雜性,使您能夠在幾分鐘內啟動並運行經過戰鬥測試的高性能文件系統。它還提供多種部署選項,因此您可以根據需求優化成本。
FSx對於 Lustre 是POSIX符合-標準,因此您可以使用當前基於 Linux 的應用程序,而無需進行任何更改。FSx為 Lustre 提供了一個原生的文件系統接口,並且可以像任何文件系統對 Linux 操作系統一樣工作。它還提供了 read-after-write一致性並支持文件鎖定。
主題
多種部署選項
Amazon to Lustre 提供各種暫存檔案系統和永久性檔案系統選項,以滿足不同的資料處理FSx需求。暫存檔案系統非常適合暫存儲和資料的短期處理。如果檔案伺服器發生故障,資料不會被複製,也不會持續存在。持續性檔案系統非常適合長期儲存和以輸送量為主的工作負載。在永久性檔案系統中,資料會被複製,如果檔案伺服器失敗,檔案伺服器會被取代。如需詳細資訊,請參閱適用於 Lustre 檔案系統的 FSx 部署選項。
多種存儲選項
Amazon of Lustre 提供針FSx對不同資料處理需求進行最佳化的固態硬碟 (SSDHDD) 和硬碟 () 儲存類型選擇:
SSD儲存選項 — 對於通常具有小型隨機檔案作業的低延遲、IOPS密集型工作負載,請選擇其中一個SSD儲存選項。
HDD儲存選項 — 對於通常具有大型連續檔案作業的輸出密集型工作負載,請選擇其中HDD一個儲存選項。
如果您要使用HDD儲存選項佈建檔案系統,您可以選擇性地佈建大小為HDD儲存容量 20% 的唯讀SSD快取。這提供了低於一毫秒的延遲,而經常存取的檔案則提供更高IOPS的延遲。SSD基於和HDD基於型的檔案系統都使用SSD基於中繼資料伺服器佈建。因此,代表大部分檔案系統作業的所有中繼資料作業,都會以低於一毫秒的延遲提供。
如需這些儲存選項效能的詳細資訊,請參閱Amazon FSx 的光澤性能。
FSx用於光澤和數據存儲庫
您可以將 Lustre 檔案系統連結FSx至 Amazon S3 上的資料儲存庫或現場部署資料存放區。
FSx適用於光澤 S3 資料儲存庫整合
FSxFor Lustre 與 Amazon S3 整合,讓您可以更輕鬆地使用 Lustre 高效能檔案系統處理雲端資料集。連結至 Amazon S3 儲存貯體時,FSx用於 Lustre 檔案系統會以檔案形式透明地呈現 S3 物件。Amazon 會在建立檔案系統時FSx匯入 S3 儲存貯體中所有現有檔案的清單。Amazon 也FSx可以在檔案系統建立後匯入新增至資料儲存庫的檔案清單。您可以設定匯入偏好設定,以符合您的工作流程需求。檔案系統也可讓您將檔案系統資料寫回 S3。資料儲存庫任務可簡化 For Lustre 檔案系統與 Amazon S3 上其持久資料儲存庫之間的資料和中繼資料傳輸作業。FSx如需詳細資訊,請參閱 將資料儲存庫與 Amazon 搭配使FSx用 和 資料儲存庫工作。
FSx適用於 Lustre 和內部部署資料儲存庫
使FSx AWS Direct Connect 用 Amazon to Lustre,您可以 AWS 雲端 透過使用或匯入資料,將資料處理工作負載從現場部署爆發到。 AWS VPN如需詳細資訊,請參閱使用 Amazon FSx 與您的現場部署資料。
存取 Lustre 檔FSx案系統
您可以混合和匹配運算實例類型和 Linux Amazon 機器映像(AMIs)連接到一個單一FSx的 Lustre 文件系統。
Amazon FSx 的 Lustre 檔案系統可從在 Amazon 彈性運算雲端 (AmazonEC2) 執行個體上執行的運算工作負載、Amazon 彈性容器服務 (AmazonECS) 碼頭集裝箱,以及在 Amazon Elastic Kubernetes Service (Amazon) 上執行的容器存取。EKS
Amazon EC2 — 您可以使用開放原始碼 Lustre 用戶端,從 Amazon EC2 運算執行個體存取檔案系統。Amazon EC2 執行個體可以從相同 Amazon 虛擬私有雲 (AmazonVPC) 內的其他可用區域存取您的檔案系統,前提是您的聯網組態可讓您在中的子網路進行存取。VPC在您的 Amazon FSx to Lustre 檔案系統掛載完畢後,您就可以像使用本機檔案系統一樣使用其檔案和目錄。
Amazon EKS — 您可以使EKS用 Lustre FSx 的開源CSI驅動程序從 Amazon 上運行的容器訪問 Amazon FSx 的 Lustre,如 Amazon 用戶指南中所述。EKS您在 Amazon 上運行的容器EKS可以使用由 Amazon FSx 為 Lustre 支持的高性能持久性磁碟區(PVs)。
Amazon ECS — 您可以從 Amazon 實FSx例上的 Amazon ECS Docker 容器訪問 Lustre 的 Amazon。EC2如需詳細資訊,請參閱從 Amazon 彈性容器服務安裝。
Amazon FSx 的光澤是最流行的基於 Linux 的AMIs,包括 Amazon Linux 2023 和 Amazon Linux 2,紅帽企業 Linux(RHEL),CentOS,Ubuntu 和 Linux 兼容。SUSE光澤客戶端包含在 Amazon Linux 2023 和 Amazon Linux 2 中。對於 RHEL CentOS 和 Ubuntu 而言, AWS Lustre 客戶端軟件庫提供了與這些操作系統兼容的客戶端。
使FSx用 Lustre,您可以 AWS 雲端 透過或匯入資料,將運算密集型工作負載從內部部署爆發到。 AWS Direct Connect AWS Virtual Private Network您可以從現場部署存取 Amazon FSx 檔案系統、視需要將資料複製到檔案系統,以及在雲端執行個體上執行運算密集型工作負載。
如需有關可存取 Lustre 檔案系統之FSx用戶端、運算執行個體和環境的詳細資訊,請參閱。存取檔案系統
與 AWS 服務整合
Amazon FSx 的 Lustre 與 Amazon SageMaker 作為輸入數據源集成。 SageMaker 搭配 FSx Lustre 使用時,您的機器學習訓練任務可透過免除 Amazon S3 的初始下載步驟來加速。此外,您的總擁有成本 (TCO) 可避免在同一個資料集上重複下載重複任務的通用物件,因為您節省 S3 請求成本。如需詳細資訊,請參閱什麼是 SageMaker? 在 Amazon 開 SageMaker 發人員指南。有關如何使用 Amazon FSx of Lustre 作為資料來源的逐步解說 SageMaker,請參閱 Machine Learning 部落格上的 Amazon SageMaker 使用 Amazon FSx 的 Lustre 和 Amazon EFS 檔案系統加快訓練
FSx為光澤與 AWS Batch 使用EC2啟動模板集成。 AWS Batch 可讓您在上執行批次運算工作負載 AWS 雲端,包括高效能運算 (HPC)、機器學習 (ML) 和其他非同步工作負載。 AWS Batch 根據工作資源需求自動並動態調整執行個體的大小。如需詳細資訊,請參閱什麼是 AWS Batch? 在《AWS Batch 使用者指南》中。
FSx為光澤集成. AWS ParallelCluster AWS ParallelCluster 是 AWS支援的開放原始碼叢集管理工具,用於部署和管理HPC叢集。它可以自動FSx為 Lustre 檔案系統建立,或在叢集建立過程中使用現有的檔案系統。
安全和合規
FSx對於 Lustre 文件系統,支持靜態和傳輸中的加密。Amazon 使用 AWS Key Management Service (AWS KMS) 中管理的金鑰FSx自動加密靜態檔案系統資料。在某些情況下,從支援的 Amazon EC2 執行個體存取 AWS 區域 時,傳輸中的資料也會在檔案系統上自動加密。如需 Lustre 中的資料加密的FSx詳細資訊,包括支援傳輸中資料加密的 AWS 區域 地方,請參閱。Amazon 中的數據加密以保FSx證光澤Amazon FSx 已經過評估,符合ISODSS、PCI-和SOC認證,並符合HIPAA資格。如需詳細資訊,請參閱亞馬遜 FSx 中的安全性。
前提
在本指南中,我們做出了以下假設:
-
如果您使用 Amazon 彈性運算雲 (AmazonEC2),我們假設您熟悉該服務。如需有關如何使用 Amazon 的詳細資訊EC2,請參閱 Amazon EC2 文件。
-
我們假設您熟悉使用 Amazon Virtual Private Cloud(AmazonVPC)。有關如何使用 Amazon 的更多信息VPC,請參閱 Amazon 用VPC戶指南。
-
我們假設您尚未VPC根據 Amazon VPC 服務變更預設安全群組的規則。如果您有,請務必新增必要的規則,以允許 Amazon EC2 執行個體的網路流量傳輸到 Amazon FSx For Lustre 檔案系統。如需詳細資訊,請參閱使用 Amazon VPC 進行檔案系統存取控制。
Amazon 的光澤FSx定價
使FSx用 Amazon 版 Lustre,無需預付硬件或軟件成本。您只需為使用的資源付費,沒有最低承諾、設定成本或額外費用。有關與服務相關的定價和費用的詳細信息,請參閱 Amazon FSx 的 Lustre
Amazon FSx 的光澤論壇
如果您在使用 Amazon FSx 進行 Lustre 時遇到問題,請查看論壇。
您是 Amazon FSx Lustre 的首次使用者嗎?
如果您是 Lustre Amazon FSx 的首次使用者,我們建議您按順序閱讀以下各節:
-
如果您已經準備好建立您的第一個 Amazon FSx 的 Lustre 檔案系統,請嘗試一下。開始使用 Amazon FSx 的光澤
-
如需有關效能的資訊,請參閱 Amazon FSx 的光澤性能。
-
如需將檔案系統連結至 Amazon S3 儲存貯體資料儲存庫的相關資訊,請參閱將資料儲存庫與 Amazon 搭配使FSx用。
-
如需 Amazon FSx 的 Lustre 安全性詳細資訊,請參閱。亞馬遜 FSx 中的安全性
-
如需 Amazon to Lustre 的可擴展性限制的相關資訊,包括輸送量和檔案系統大小,FSx請參閱。適用於 Amazon FSx for Lustre 配額
-
有關 Amazon FSx 有關光澤的信息API,請參閱 Amazon 的光API澤FSx參考。