Amazon Redshift Serverless 的计算容量 - Amazon Redshift

Amazon Redshift Serverless 的计算容量

使用 Amazon Redshift Serverless,可以自动纵向扩展和缩减计算容量以满足工作负载需求。计算容量是指分配给 Amazon Redshift Serverless 工作负载的处理能力和内存。常见用例包括处理流量高峰期、运行复杂分析或高效处理大量数据。以下术语提供了有关配置和管理计算容量的详细信息。

PRU

Amazon Redshift Serverless 以 Redshift 处理单元 (RPU) 为单位测量数据仓库容量。RPU 是用于处理工作负载的资源。

基本容量

此设置指定 Amazon Redshift Serverless 用于处理查询的基本数据仓库容量。基本容量以 RPU 为单位指定。您能够以 Redshift 处理单元 (RPU) 为单位设置基本容量。一个 RPU 提供 16 GB 内存。设置更高的基本容量可提高查询性能,尤其是对于消耗大量资源的数据处理任务。Amazon Redshift Serverless 的原定设置基本容量为 128 个 RPU。您可以使用 AWS 控制台、UpdateWorkgroup API 操作或 AWS CLI 中的 update-workgroup 操作,将基本容量设置以 8 为单位,从 8 个 RPU 调整为 512 个 RPU(8、16、24... 512)。

由于最低容量为 8 个 RPU,您现在可以根据性能要求,更灵活地运行较简单到更复杂的工作负载。8、16 和 24 个 RPU 基本 RPU 容量面向所需数据不超过 128TB 数据的工作负载。如果您的数据要求大于 128 TB,则必须至少使用 32 个 RPU。如果工作负载中的表具有大量列数和更高并发度,我们建议使用 32 个或更多 RPU。

可用的最大基本 RPU 为 512,可为工作负载添加最高级别的计算资源。这为支持高度复杂的工作负载提供了更大的灵活性,并加快了数据的加载和查询速度。

注意

以下 AWS 区域中提供 1024 的扩展最大基本 RPU 容量:

  • 美国东部(弗吉尼亚州北部)

  • 美国东部(俄亥俄州)

  • 美国西部(俄勒冈州)

将基本容量设置在 512-1024 之间时,可以按 32 为单位递增或递减 RPU。

如果您管理更大、更复杂的工作负载,可以考虑增加 Redshift Serverless 数据仓库的大小。较大的仓库可以访问更多的计算资源,从而可以更高效地处理查询。请注意,增加工作组的最大基本 RPU 容量需要额外的可用 IP 地址。有关增加的可用 IP 地址要求的更多信息,请转至使用 Amazon Redshift Serverless 时的注意事项

下面是一些拥有更高的基本容量会带来好处的实例:

  • 查询很复杂,运行需要很长时间。

  • 表中有大量的列。

  • 查询包含了大量的 JOIN。

  • 查询聚合或扫描来自外部源(例如数据湖)的大量数据。

有关 Amazon Redshift Serverless 配额和限制的更多信息,请转至 Amazon Redshift Serverless 对象的配额

Amazon Redshift Serverless 容量的注意事项和限制

Amazon Redshift Serverless 容量有下列注意事项和限制

  • 8 或 16 个 RPU 的配置支持最高 128 TB 的 Redshift 托管存储容量。如果您使用的托管存储超过 128 TB,则无法降级到 32 个 RPU 以下。

  • 编辑工作组的基本容量,可能会导致工作组上运行的一些查询被取消。

  • 除非队列中有查询,否则 Amazon Redshift Serverless 不会纵向扩展您的 RPU。Amazon Redshift Serverless 不会根据单个查询带来的负载增加而纵向扩展您的 RPU。因此,如果当前没有处理容量,单个资源密集型查询可能会导致工作组耗尽内存。确保您的基本容量足以处理在数据仓库上运行的任何单个查询。

AI 驱动的扩展和优化(预览版)

以下是针对 Amazon Redshift Serverless 中 AI 驱动的扩展和与优化功能预览版的预发行文档。文档和特征都可能会更改。我们建议您仅在测试环境中使用此特征,不要在生产环境中使用。有关预览条款和条件,请参阅 AWS 服务条款中的测试版和预览

在以下 AWS 区域 中提供此预览:

  • 美国东部(俄亥俄州)(us-east-2)

  • 美国东部(弗吉尼亚北部)(us-east-1)

  • 美国西部(俄勒冈州)(us-west-2)

  • 亚太地区(东京)(ap-northeast-1)

  • 欧洲地区(爱尔兰)(eu-west-1)

  • 欧洲地区(斯德哥尔摩)(eu-north-1)

您可以创建预览工作组来测试 Amazon Redshift Serverless 的新功能。您无法在生产中使用这些功能,也无法将该工作组移至其他工作组。有关预览条款和条件,请参阅 AWS 服务条款中的测试版和预览。有关如何创建预览工作组的说明,请参阅创建预览工作组

您还可以为工作组设置性价比目标,这样 Redshift 就可以自动对您的资源进行 AI 驱动的优化。通过这种方法,您可以在优化成本的同时实现性价比目标。如果您不知道要为工作负载设置多少基本容量,或者您的工作负载的某些部分可能从分配更多资源中获益,则这种自动性价比优化特别有用。

例如,如果组织运行的工作负载通常只需要 32 个 RPU,但突然引入了更复杂的查询,那么您可能不确定多大的基本容量才合适。设置较高的基本容量可以提高性价比,但也会产生更高的成本,因此成本可能会不符合您的期望。Amazon Redshift Serverless 使用 AI 驱动的扩展和资源优化,自动调整 RPU 以满足您的性价比目标,同时优化组织的成本。无论工作负载大小如何,这种自动优化都会非常有用。如果您有任意数量的复杂查询,自动优化可以帮助您实现组织的性价比目标。

性价比目标是特定于工作组的设置。不同的工作组可以有不同的性价比目标。

为了保持成本的可预测性,请设置允许 Amazon Redshift Serverless 向您的工作负载分配的最大容量限制。

要配置性价比目标,请使用 AWS 控制台。默认情况下,当您创建新工作组时会启用性价比目标,并将其设置为平衡。要为工作组设置不同的性价比目标或指定基本容量,请在创建工作组时使用自定义设置。有关创建工作组的更多信息,请参阅创建带有命名空间的工作组

要编辑工作组的性价比目标,请执行以下操作:

  1. 在 Amazon Redshift Serverless 控制台上,选择工作组配置

  2. 选择要为其编辑性价比目标的工作组。选择性能选项卡,然后选择编辑

  3. 选择性价比目标,然后根据您要为工作组设置的目标调整滑块。

  4. 选择 Save changes(保存更改)

要更新 Amazon Redshift Serverless 可以向您的工作负载分配的最大 RPU 数量,请转到工作组配置的限制选项卡。

要了解有关 AI 驱动的优化和资源扩展的更多信息,请观看以下视频。