View a markdown version of this page

使用 Amazon S3 檔案 - Amazon Simple Storage Service

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 Amazon S3 檔案

什麼是 S3 檔案?

S3 檔案是一種共用檔案系統,可直接將任何 AWS 運算資源與 Amazon S3 中的資料連線。它可讓您以具有完整檔案系統語意和低延遲效能的檔案形式,快速直接存取所有 S3 資料,而不會讓您的資料離開 S3。每個以檔案為基礎的應用程式、代理程式和團隊都可以使用他們已經依賴的工具,以檔案系統的形式存取和使用您的 S3 資料。S3 Files 使用 Amazon EFS 建置,為您提供檔案系統的效能和簡易性,以及 S3 的可擴展性、耐用性和成本效益。您可以使用檔案和目錄操作來讀取、寫入和組織資料,而 S3 Files 會管理儲存貯體和檔案系統之間的變更同步。

S3 檔案如何運作?

當您建立連結至 S3 儲存貯體或其中字首的 S3 檔案系統,並將其掛載在運算資源上,例如 EC2 執行個體或 Lambda 函數時,S3 檔案會先以檔案形式顯示儲存貯體物件的可周遊檢視。當您瀏覽目錄和開啟檔案時,相關聯的中繼資料和內容會放置在檔案系統的高效能儲存體上。當您讀取檔案時,S3 檔案會隨需將檔案內容載入至高效能儲存體,而不會複製整個資料集。當您寫入資料時,您的寫入會移至高效能儲存體,並同步回 S3 儲存貯體。S3 檔案會以智慧方式將檔案系統操作翻譯為有效的 S3 請求。許多讀取操作會完全繞過檔案系統,並直接從 S3 提供資料。

您可以設定要載入高效能儲存體的檔案大小閾值 (預設 128 KB),因為小型檔案的延遲最為重要。不符合此閾值的資料會直接從 S3 讀取。對於已同步至 S3, S3 檔案也會直接從 S3 串流,因為 S3 已針對高輸送量進行最佳化,而檔案系統的高效能儲存層已針對低延遲小型檔案存取進行最佳化。最近修改且尚未同步至 S3 的資料一律會從檔案系統提供。如需詳細資訊,請參閱自訂 S3 檔案的同步

未在可設定的時段 (1 到 365 天,預設 30 天) 內讀取的資料會自動從高效能儲存體過期。您的授權資料一律會保留在 S3 中,背景同步可讓檔案系統和儲存貯體在兩個方向上保持一致。如需詳細資訊,請參閱了解同步的運作方式

支援掛載 S3 檔案系統的運算服務包括 Amazon EC2 AWS Lambda、Amazon EKS 和 Amazon ECS。如需詳細資訊,請參閱在運算資源上掛載 S3 儲存貯體

圖表顯示 S3 儲存貯體、S3 檔案系統和運算資源之間的資料流程。

您是第一次使用 S3 檔案嗎?

如果您是第一次使用 S3 檔案,請依照 使用 S3 主控台或 AWS CLI 建立您的第一個 S3 檔案系統教學課程:S3 檔案入門

重要概念

下列術語用於整個 S3 檔案文件:

檔案系統

連結至 S3 儲存貯體的共用檔案系統。

高效能儲存

檔案系統中主動使用檔案資料和中繼資料所在的低延遲儲存層。S3 檔案會自動管理此儲存體,在您存取檔案時將資料複製到其中,並移除未在可設定的過期時段內讀取的資料。您為存放在高效能儲存體上的資料支付儲存速率。

同步

S3 檔案讓您的作用中工作資料集和檔案系統和 S3 儲存貯體之間的變更保持一致的程序。將資料從 S3 儲存貯體匯入檔案系統。將您透過檔案系統所做的變更匯出回 S3 儲存貯體。S3 Files 會自動雙向執行同步。

掛載目標

掛載目標可讓您在 VPC 的單一可用區域內,透過網路存取檔案系統。您需要至少一個掛載目標,才能從運算資源存取檔案系統,而且每個可用區域最多可以建立一個掛載目標。

存取點

存取點是檔案系統的應用程式特定進入點,可簡化共用資料集的大規模資料存取管理。您可以使用存取點,對透過存取點提出的所有檔案系統請求強制執行使用者身分和許可。當您使用 AWS 管理主控台建立檔案系統時,S3 檔案會自動為檔案系統建立一個存取點。

功能

沒有完整資料複寫的高效能

S3 檔案只會將作用中的工作集複製到檔案系統的高效能儲存體,而非整個資料集,以提供低延遲的檔案存取。小型、經常存取的檔案會從低於毫秒的高效能儲存提供到單一位數毫秒延遲。大型讀取會以每秒高達 TB 的彙總輸送量直接從 S3 串流。這表示您可以為互動式工作負載取得檔案系統效能,並為串流工作負載取得 S3 輸送量,而無須付費存放或匯入您未使用或無法受益於低延遲的資料。如需詳細資訊,請參閱效能規格

智慧型讀取路由

S3 檔案會自動將讀取請求路由到最適合它們的儲存層 (S3 檔案系統或 S3 儲存貯體),同時維護完整的檔案系統語意,包括一致性、鎖定和 POSIX 許可。從高效能儲存提供少量、隨機讀取的主動使用檔案,以降低延遲。直接從 S3 儲存貯體提供不在檔案系統上的大型循序讀取和資料讀取,以獲得高輸送量,無需檔案系統資料費用。

自動同步

S3 檔案會自動讓您的檔案系統和 S3 儲存貯體在兩個方向上保持一致。透過檔案系統所做的變更會複製回 S3 儲存貯體,而直接對 S3 儲存貯體所做的變更會反映在檔案系統的檢視中。您可以自訂同步行為,包括匯入哪些資料,以及它在檔案系統上停留多久。如需詳細資訊,請參閱了解同步的運作方式

可擴展效能

S3 檔案會自動擴展輸送量和 IOPS,以符合您的工作負載活動。您不需要佈建或管理效能容量,只需為使用量付費。

區域耐久性

寫入高效能儲存層的資料具有與 Amazon S3 相同的耐用性。它會以備援方式將資料跨同一 AWS 區域內多個地理位置分隔的可用區域存放,為您的資料提供高耐用性和可用性。

加密

S3 檔案會使用 TLS 加密傳輸中的所有資料,並使用 AWS KMS 金鑰加密所有靜態資料。您可以使用 AWS 擁有的金鑰 (預設) 或您自己的客戶受管金鑰。如需詳細資訊,請參閱加密

檔案系統語意

S3 檔案支援 NFS 4.2 版和 4.1 版通訊協定。它提供file-system-access語意,例如read-after-write資料一致性、檔案鎖定和 POSIX 許可。

如何支付 S3 檔案的費用?

您為存放在高效能儲存體上的部分作用中資料支付儲存速率,並支付從檔案系統高效能儲存體讀取和寫入的檔案系統存取費用。對於已同步至 S3, S3 檔案也會直接從 S3 串流,因為 S3 已針對高輸送量進行最佳化,而檔案系統的高效能儲存層已針對低延遲小型檔案存取進行最佳化。這些讀取只會產生標準 S3 GET 請求成本,無需檔案系統存取費用。檔案系統存取費用適用於同步操作:將資料匯入檔案系統會產生寫入費用,而將變更匯出回 S3 會產生讀取費用。如需詳細資訊,請參閱如何計量 S3 檔案。如需目前的定價,請參閱 S3 檔案定價頁面