高效能工作負載 - Amazon Simple Storage Service

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

高效能工作負載

S3 Express One Zone

您可以使用 Amazon S3 Express One Zone 處理高效能工作負載。S3 Express One Zone 是第一款可讓您選取單一可用區域的 S3 儲存類別,還可選擇將物件儲存體與運算資源共置,藉此盡可能提供最高存取速度。S3 Express One Zone 中的物件會儲存在位於可用區域的目錄儲存貯體中。如需目錄儲存貯體的詳細資訊,請參閱目錄儲存貯體

Amazon S3 Express One Zone 是一種高效能的單一區域 Amazon S3 儲存類別,專門為對延遲最敏感的應用程式提供一致的個位數毫秒資料存取。S3 Express One Zone 是目前可用的最低延遲雲端物件儲存類別,與 S3 Standard 相比,資料存取速度提高 10 倍,而且請求成本低 50%。應用程式可立即因請求完成的速度加快一級而受益。S3 Express One Zone 提供與其他 S3 儲存類別類似的效能彈性。S3 Express One Zone 用於需要一致的個位數毫秒延遲的工作負載或效能關鍵應用程式。

如同其他 Amazon S3 儲存類別,您不需要事先規劃或佈建容量或輸送量要求。您可以根據需要擴展或縮減儲存大小,並透過 Amazon S3 API 存取資料。

Amazon S3 Express One Zone 儲存類別的設計可在單一可用區域內達到 99.95% 的可用性,並依照 Amazon S3 服務水準協議提供支援。使用 S3 Express One Zone,您的資料會以備援方式儲存在單一可用區域內的多部裝置上。S3 Express One Zone 的設計在於透過快速偵測並修復任何遺失的備援來處理並行裝置故障。如果現有裝置發生故障,S3 Express One Zone 會自動將請求轉送到可用區域內的新裝置。這種備援有助於確保存取可用區域內的資料不間斷。

S3 Express One Zone 非常適合需要盡可能降低存取物件所需延遲的任何應用程式。這類應用程式可能是人為互動的工作流程 (例如影片編輯),需要創意專業人員從其使用者介面回應內容。S3 Express One Zone 也有利於資料具有類似回應能力需求的分析和機器學習工作負載,特別是需進行許多小量存取或大量隨機存取的工作負載。S3 Express One Zone 可與其他 AWS 服務 搭配使用,以支援分析以及人工智慧和機器學習 (AI/ML) 工作負載,例如 Amazon EMR、Amazon SageMaker AI 和 Amazon Athena。

顯示 S3 Express One Zone 運作方式的圖表。

對於使用 S3 Express One Zone 儲存類別的目錄儲存貯體,資料會儲存在單一可用區域內的多個裝置,但不會以備援方式跨可用區域儲存資料。當您建立目錄儲存貯體以使用 S3 Express One Zone 儲存類別時,我們建議您指定 AWS 區域 和 可用區域,該區域位於 Amazon EC2、Amazon Elastic Kubernetes Service 或 Amazon Elastic Container Service (Amazon ECS) 運算執行個體的本機,以最佳化效能。

使用 S3 Express One Zone 時,您可以使用閘道 VPC 端點與虛擬私有雲端 (VPC) 中的目錄儲存貯體互動。您可以使用閘道端點從您的 VPC 存取 S3 Express One Zone,VPC 不需要網際網路閘道或 NAT 裝置,您也不需支付額外費用。

您可以在目錄儲存貯體中,使用許多與一般用途儲存貯體和其他儲存類別相同的 Amazon S3 API 操作和功能。其中包括適用於 Amazon S3 的掛載點、使用 Amazon S3 受管金鑰 (SSE-S3) 的伺服器端加密、使用 AWS Key Management Service (AWS KMS) 金鑰 (SSE-KMS) 的伺服器端加密、S3 批次操作和 S3 封鎖公開存取。您可以使用 Amazon S3 主控台、 AWS Command Line Interface (AWS CLI)、 AWS SDKs 和 Amazon S3 REST API Amazon S3 Express One Zone。 Amazon S3

如需有關 S3 Express One Zone 的詳細資訊,請參閱下方主題。

概觀

為了最佳化效能並降低延遲,S3 Express One Zone 導入了下列新概念。

可用區域

Amazon S3 Express One Zone 儲存類別的設計可在單一可用區域內達到 99.95% 的可用性,並依照 Amazon S3 服務水準協議提供支援。使用 S3 Express One Zone,您的資料會以備援方式儲存在單一可用區域內的多部裝置上。S3 Express One Zone 的設計在於透過快速偵測並修復任何遺失的備援來處理並行裝置故障。如果現有裝置發生故障,S3 Express One Zone 會自動將請求轉送到可用區域內的新裝置。這種備援有助於確保存取可用區域內的資料不間斷。

可用區域是一個或多個獨立的資料中心,具備 AWS 區域中的備援電源、聯網和連線能力。建立目錄儲存貯體時,您可以選擇可用區域和 AWS 區域 儲存貯體所在的位置。

單一可用區域

當您建立目錄儲存貯體時,可選擇可用區域和 AWS 區域。

目錄儲存貯體使用 S3 Express One Zone 儲存類別,這是專供效能敏感應用程式使用所打造的類別。S3 Express One Zone 是第一款可讓您選取單一可用區域的 S3 儲存類別,還可選擇將物件儲存體與運算資源共置,藉此盡可能提供最高存取速度。

使用 S3 Express One Zone,您的資料會以備援方式儲存在單一可用區域內的多部裝置上。S3 Express One Zone 的設計可在單一可用區域內達到 99.95% 的可用性,並依照 Amazon S3 服務水準協議提供支援。如需詳細資訊,請參閱 可用區域

端點和閘道 VPC 端點

您可以透過地區端點對目錄儲存貯體執行儲存貯體管理 API 操作,這些操作也稱為地區端點 API 操作。區域端點 API 操作的範例包括 CreateBucketDeleteBucket。建立目錄儲存貯體後,您可以使用區域 (Zone) 端點 API 操作來上傳和管理目錄儲存貯體中的物件。區域端點 API 操作可透過區域端點提供使用。區域端點 API 操作的範例包括 PutObjectCopyObject

您可以使用閘道 VPC 端點從 VPC 存取 S3 Express One Zone。建立閘道端點後,您可以將其新增為路由表中的目標,用於從 VPC 到 S3 Express One Zone 的流量。如同使用 Amazon S3,使用閘道端點不需額外付費。如需如何設定閘道 VPC 端點的詳細資訊,請參閱 目錄儲存貯體的網路

工作階段型授權

使用 S3 Express One Zone,您可以透過新的工作階段型機制來驗證和授權請求,此機制經過最佳化,可提供最低延遲。您可以使用 CreateSession 請求臨時憑證來提供低延遲的儲存貯體存取。這些臨時憑證的範圍會設為特定 S3 目錄儲存貯體。工作階段權杖只能搭配區域 (物件層級) 操作 (CopyObject 除外) 使用。如需詳細資訊,請參閱使用 CreateSession 授權區域端點 API 操作

S3 Express One Zone 支援的 AWS SDKs 會代表您處理工作階段建立和重新整理。為保護您的工作階段,臨時安全憑證會在 5 分鐘後過期。下載並安裝 AWS SDKs並設定必要的 AWS Identity and Access Management (IAM) 許可後,您就可以立即開始使用 API 操作。

S3 Express One Zone 的功能

下列 S3 功能適用於 S3 Express One Zone。如需支援 API 操作和不支援功能的完整清單,請參閱目錄儲存貯體的不同之處

存取管理與安全性

您可以使用下列功能來稽核及管理存取權。根據預設,目錄儲存貯體為私有,只有明確獲得存取權的使用者才能存取。與可在儲存貯體、字首或物件標籤層級設定存取控制界限的一般用途儲存貯體不同的是,目錄儲存貯體的存取控制界限只會在儲存貯體層級設定。如需詳細資訊,請參閱使用 IAM 授權地區端點 API 操作

  • S3 封鎖公開存取 – 根據預設,所有 S3 封鎖公開存取設定都會在儲存貯體層級啟用。此預設設定無法修改。

  • S3 物件擁有權 (預設為儲存貯體擁有者強制執行) – 目錄儲存貯體不支援存取控制清單 (ACL)。目錄儲存貯體會自動使用儲存貯體擁有者強制執行的 S3 物件擁有權設定。「儲存貯體擁有者強制執行」表示 ACL 已停用,且儲存貯體擁有者會自動擁有並完全控制儲存貯體中的每個物件。此預設設定無法修改。

  • AWS Identity and Access Management (IAM) – IAM 可協助您安全地控制對目錄儲存貯體的存取。您可以透過 s3express:CreateSession 動作,使用 IAM 授予存取儲存貯體管理 (地區) API 操作和物件管理 (區域) API 操作的權限。如需詳細資訊,請參閱使用 IAM 授權地區端點 API 操作。與物件管理動作不同的是,儲存貯體管理動作不可跨帳戶。只有儲存貯體擁有者可執行這些動作。

  • 儲存貯體政策:使用 IAM 型政策語言,為目錄儲存貯體設定以資源為基礎的許可。您還可以使用 IAM 來控制對 CreateSession API 操作的存取,讓您能夠使用區域或物件管理 API 操作。您可以授予相同帳戶或跨帳户存取區域 API 操作的權限。如需 S3 Express One Zone 許可和政策的詳細資訊,請參閱使用 IAM 授權地區端點 API 操作

  • IAM Access Analyzer for S3 – 評估和監控您的存取政策,確保政策僅提供對 S3 資源的預期存取。

日誌記錄和監控

S3 Express One Zone 使用下列 S3 記錄和監控工具,您可以使用這些工具來監控和控制資源的使用方式:

  • Amazon CloudWatch 指標 – 使用 CloudWatch 來收集和追蹤指標,以監控您的 AWS 資源和應用程式。S3 Express One Zone 使用與其他 Amazon S3 儲存類別 (AWS/S3) 相同的 CloudWatch 命名空間,並針對目錄儲存貯體支援每日儲存指標:BucketSizeBytesNumberOfObjects。如需詳細資訊,請參閱使用 Amazon CloudWatch 監控指標

  • AWS CloudTrail 日誌 – AWS CloudTrail 透過 AWS 帳戶 記錄使用者、角色或 採取的動作, AWS 服務 協助您實作 的操作和風險稽核、控管和合規 AWS 服務。對於 S3 Express One Zone,CloudTrail 會將地區端點 API 操作 (例如 CreateBucketPutBucketPolicy) 當做管理事件來擷取,並將區域 API 操作 (例如 GetObjectPutObject) 當做資料事件來擷取。這些事件包括在 AWS Management Console、 AWS Command Line Interface (AWS CLI)、 AWS SDKs和 AWS API 操作中採取的動作。如需詳細資訊,請參閱使用適用於 S3 Express One Zone 的 AWS CloudTrail 記錄

注意

S3 Express One Zone 不支援 Amazon S3 伺服器存取日誌。

物件管理

您可以使用 Amazon S3 主控台、 AWS SDKs和 來管理物件儲存 AWS CLI。下列功能適用於 S3 Express One Zone 的物件管理:

  • S3 批次操作 – 使用批次操作對目錄儲存貯體中的物件執行大量操作,例如複製叫用 AWS Lambda 函數。例如,您可以使用 Batch Operations 在目錄儲存貯體和一般用途儲存貯體之間複製物件。透過批次操作,您可以使用 AWS SDKs AWS CLI 或 Amazon S3 Amazon S3請求大規模管理數十億個物件。

  • 匯入:建立目錄儲存貯體之後,您可以使用 Amazon S3 主控台中的匯入功能將物件填入儲存貯體。匯入是用來建立 Batch Operations 任務的簡化方法,可將物件從一般用途儲存貯體複製到目錄儲存貯體。

AWS SDKs和用戶端程式庫

您可以使用 AWS SDKs和用戶端程式庫來管理物件儲存。

  • 適用於 Amazon S3 的掛載點 – 適用於 Amazon S3 的掛載點是開放原始碼檔案用戶端,可提供高輸送量存取,並降低 Amazon S3 上資料湖的運算成本。適用於 Amazon S3 的掛載點可將本機檔案系統 API 呼叫轉譯成 S3 物件 API 呼叫,例如 GETLIST。它非常適合用於處理 PB 級資料量,且需要 Amazon S3 提供的高彈性輸送量來擴展和縮減數千個執行個體的大量讀取資料湖工作負載。

  • S3A – S3A 是存取 Amazon S3 中的資料存放區時,建議使用的 Hadoop 相容介面。S3A 會取代 S3N Hadoop 檔案系統用戶端。

  • PyTorch on AWS – PyTorch on AWS 是開放原始碼深度學習架構,可讓您更輕鬆地開發機器學習模型並將其部署到生產環境。

  • AWS SDKs – 您可以在使用 Amazon S3 開發應用程式時使用 AWS SDKs。 AWS SDKs 透過包裝基礎 Amazon S3 REST API 來簡化您的程式設計任務。如需搭配 S3 Express One Zone 使用 AWS SDKs 的詳細資訊,請參閱 AWS SDKs

加密和資料保護

S3 Express One Zone 中的物件會使用 Amazon S3 受管金鑰的伺服器端加密 (SSE-S3) 來自動加密。S3 Express One Zone 也支援使用 AWS Key Management Service (AWS KMS) 金鑰的伺服器端加密 (SSE-KMS)。S3 Express One Zone 不支援使用客戶提供加密金鑰的伺服器端加密 (SSE-C),也不支援使用 AWS KMS keys 的雙層伺服器端加密 (DSSE-KMS)。如需詳細資訊,請參閱資料保護和加密

S3 Express One Zone 可讓您選擇用於在上傳或下載過程中驗證資料的檢查總和演算法選項。您可以選擇以下 Secure Hash 演算法 (SHA) 或循環宂餘檢查 (CRC) 資料完整性演算法之一:CRC32、CRC32C、SHA-1 和 SHA-256。S3 Express One Zone 儲存類別不支援 MD5 型檢查總和。

如需詳細資訊,請參閱S3 其他檢查總和最佳實務

AWS Signature 第 4 版 (SigV4)

S3 Express One Zone 使用 AWS Signature 第 4 版 (SigV4)。 SigV4 是一種簽署通訊協定,用於透過 HTTPS 驗證對 Amazon S3 的請求。S3 Express One Zone 使用 簽署請求 AWS Sigv4。如需詳細資訊,請參閱《Amazon Simple Storage Service API 參考》中的驗證請求AWS (簽章第 4 版)

高度的一致性

S3 Express One Zone 為所有 PUT 之目錄儲存貯體中物件的 DELETE 和 AWS 區域請求提供高度的先寫後讀一致性。如需詳細資訊,請參閱Amazon S3 資料一致性模式

您可以 AWS 服務 搭配 S3 Express One Zone 儲存類別使用下列項目,以支援特定的低延遲使用案例。

  • Amazon Elastic Compute Cloud (Amazon EC2) – Amazon EC2 在 AWS 雲端中提供了安全且可擴展的運算容量。使用 Amazon EC2 可減少前期所需的硬體投資,讓您更快速開發並部署應用程式。您可使用 Amazon EC2 按需要啟動任意數量的虛擬伺服器,設定安全性和聯網功能以及管理儲存。

  • AWS Lambda:Lambda 是一項運算服務,可讓您執行程式碼,而無需佈建或管理伺服器。您在儲存貯體上設定通知設定,並授予 Amazon S3 許可以在函數以資源為基礎的許可政策上叫用函數。

  • Amazon Elastic Kubernetes Service (Amazon EKS) – Amazon EKS 是一項受管服務,無需安裝、操作和維護您自己的Kubernetes控制平面 AWS。 Kubernetes 是一種開放原始碼系統,可自動化容器化應用程式的管理、擴展和部署。

  • Amazon Elastic Container Service (Amazon ECS):Amazon ECS 為全受管容器協同運作服務,可讓您輕鬆部署、管理和擴展容器化應用程式。

  • AWS Key Management Service (AWS KMS) – AWS Key Management Service (AWS KMS) 是一種 AWS 受管服務,可讓您輕鬆建立和控制用來加密資料的加密金鑰。您在 AWS KMS 中 AWS 建立的 KMS 金鑰受到 FIPS 140-2 驗證的硬體安全模組 (HSM) 保護。若要使用或管理您的 KMS 金鑰,您會與 AWS KMS 互動。

  • Amazon Athena:Athena 是一種互動式查詢服務,可讓您使用標準 SQL 直接輕鬆分析 Amazon S3 中的資料。您還可以使用 Athena 以互動方式使用 Apache Spark 執行資料分析,而不必規劃、設定或管理資源。當您在 Athena 執行 Apache Spark 應用程式時,可提交 Spark 程式碼進行處理,並直接接收結果。

  • Amazon SageMaker 訓練 – 檢閱使用 Amazon SageMaker 訓練模型的選項,包括內建演算法、自訂演算法、程式庫和 AWS Marketplace 中的模型。

  • AWS Glue – AWS Glue 是一種無伺服器資料整合服務,可讓分析使用者輕鬆探索、準備、移動和整合來自多個來源的資料。您可以使用 AWS Glue 進行分析、機器學習和應用程式開發。 AWS Glue 也包含額外的生產力和資料操作工具,用於撰寫、執行任務和實作業務工作流程。

  • Amazon EMR – Amazon EMR 是受管叢集平台,可簡化在 上執行大數據架構,例如 Apache Hadoop和 Apache Spark, AWS 以處理和分析大量資料。

  • AWS CloudTrail – AWS CloudTrail 是一項 AWS 服務,可協助您啟用 AWS 帳戶的營運和風險稽核、管理和合規。使用者、角色或服務採取的動作 AWS 會在 CloudTrail 中記錄為事件。事件包括在 AWS 管理主控台、 AWS 命令列界面和 AWS SDKs和 APIs中採取的動作。

  • AWS CloudFormation – 是一項服務,可協助您建立和設定 AWS 資源的模型,以便您可以花較少的時間管理這些資源,並有更多的時間專注於在其中執行的應用程式 AWS。您可以建立範本來描述您想要的所有 AWS 資源 (例如 Amazon EC2 執行個體或 Amazon RDS 資料庫執行個體),而 CloudFormation 會負責為您佈建和設定這些資源。您不需要個別建立和設定 AWS 資源,並了解什麼取決於;CloudFormation 會處理該資源。

後續步驟

如需有關使用 S3 Express One Zone 儲存類別與目錄儲存貯體的詳細資訊,請參閱下方主題: