本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
的服务配额和限制 Deadline Cloud
AWS Deadline Cloud 提供可用于处理任务的资源,例如农场、舰队和队列。当您创建您的时 AWS 账户,我们会为每个资源设置默认配额 AWS 区域。 Deadline Cloud 还限制了 API 请求的速率。有关更多信息,请参阅 API 请求节流。
服务配额是您可以查看和管理配额的中心位置 AWS 服务。您也可以申请增加您使用的许多资源的配额。
要查看的配额 Deadline Cloud,请打开服务配额控制台
要请求提高配额,请参阅《服务配额用户指南》中的请求提高配额。如果服务配额中尚无配额,请使用服务配额增加表
您的 AWS 账户有以下与之相关的配额 Deadline Cloud。
关联成员配额计算您分配给农场、舰队、队列或工作的成员资格。每个用户授权和每个群组授权都算作一个成员资格,因此,一个群组无论包含多少用户,都算作一个成员。 Deadline Cloud 不限制群组中的用户数量或用户所属群组的数量;改为 AWS IAM Identity Center 适用配额。要在成员资格配额内向更多用户授予访问权限,请分配群组而不是单个用户。有关更多信息,请参阅 权限在截止日期云中的工作原理。
服务管理队列的计算计入下表中的 Deadline Cloud vCPU 和 GPU 配额,而不是您的亚马逊弹性计算云 (Amazon EC2) 服务配额。有关更多信息,请参阅 相关服务的配额。
下表包括服务管理队列使用的永久存储卷的配额。有关永久存储的更多信息,请参阅服务管理队列的永久存储。
| Name | 默认值 | 可调整 | 说明 |
|---|---|---|---|
| 每个服务器场的关联成员数 | 每个受支持的区域:75 个 | 否 | 可以与当前 AWS 区域中每个农场关联的最大委托人(用户或群组)数量。每个关联组都算作一个成员,无论它包含多少用户。 |
| 每个实例集的关联成员数 | 每个受支持的区域:75 个 | 否 | 当前 AWS 区域中可以与每个队列关联的最大委托人(用户或群组)数量。每个关联组都算作一个成员,无论它包含多少用户。 |
| 每个作业的关联成员数 | 每个受支持的区域:75 个 | 否 | 当前 AWS 区域中可以与每项任务关联的最大委托人(用户或群组)数量。每个关联组都算作一个成员,无论它包含多少用户。 |
| 每个队列的关联成员数 | 每个受支持的区域:75 个 | 否 | 当前 AWS 区域中可以与每个队列关联的最大委托人(用户或群组)数。每个关联组都算作一个成员,无论它包含多少用户。 |
| 每个服务器场的预算 | 每个受支持的区域:20 个 | 是 |
当前 AWS 地区每个农场的最大预算数 |
| 每个区域的服务器场数 | 每个受支持的区域:2 个 | 是 |
当前 AWS 区域中可以创建的最大农场数量。 |
| 每个服务器场的实例集数 | 每个受支持的区域:5 个 | 是 |
当前 AWS 区域中可以为每个农场创建的最大舰队数量。 |
| 每个服务器场的作业数 | 每个受支持的区域:10 万个 | 是 |
当前 AWS 区域中每个农场的最大任务数。 |
| 每个区域的许可证端点数 | 每个受支持的区域:5 个 | 是 |
当前 AWS 区域的最大许可证终端节点数。 |
| 每个许可证端点的许可证会话数 | 每个受支持的区域:500 个 | 是 |
当前 AWS 区域中每个许可证终端节点的最大许可证会话数。 |
| 每个服务器场的限制 | 每个受支持的区域:50 个 | 是 |
在当前 AWS 区域中可以为每个农场创建的最大限制数量。 |
| 每个区域的监视器数 | 每个受支持的区域:1 个 | 否 | 当前 AWS 区域的最大显示器数量。 |
| OnDemand 每个区域的 G 实例 GPU | 每个受支持的区域:0 个 | 是 |
可在当前区域的所有服务管理队列中配置的按需 G 实例 GPU 的最大数量。 AWS |
| OnDemand 每个区域的 vCPU | 每个受支持的区域:50 个 | 是 |
可在当前区域的所有服务管理队列中配置的最大按需 vCPU 数量。 AWS |
| 每个队列的队列环境数 | 每个受支持的区域:10 个 | 否 | 在当前 AWS 区域中可以为每个队列创建的最大队列环境数。 |
| 每个服务器场的队列实例集关联数 | 每个受支持的区域:100 个 | 是 |
当前 AWS 区域中每个农场的最大队列关联数 |
| 每个队列的队列限制关联数 | 每个受支持的区域:10 个 | 是 |
当前 AWS 区域中可以与每个队列关联的最大限制数。 |
| 每个服务器场的队列数 | 每个受支持的区域:20 个 | 是 |
在当前 AWS 区域中可以为每个农场创建的最大队列数。 |
| 每个实例集的资源配置数 | 每个受支持的区域:1 个 | 是 |
可以向每个实例集添加的 VPC Lattice 资源配置的最大数量。 |
| 每个区域的竞价型 G 实例 GPU 数 | 每个受支持的区域:0 个 | 是 |
可在当前区域的所有服务管理队列中配置的最大竞价 G 实例 GPU 数量。 AWS |
| 每个区域的竞价型 vCPU 数 | 每个受支持的区域:50 个 | 是 |
可在当前区域的所有服务管理队列中配置的最大竞价 vCPU 数量。 AWS |
| 每步使用者 | 每个受支持的区域:32 个 | 是 |
在当前 AWS 区域中,可以声明依赖于(消费)任务中单个步骤的最大步骤数。 |
| 每个步骤的步骤依赖关系 | 每个受支持的区域:128 个 | 是 |
任务中的单个步骤在当前 AWS 区域中可以声明依赖的最大步骤数。 |
| 每个作业的步骤数 | 每个受支持的区域:200 个 | 是 |
当前 AWS 区域中每个任务的最大步数。 |
| 通用型 SSD(gp3)卷存储(单位 TiB) | 每个受支持的区域:1 个 | 是 |
EBS 存储的最大总量,以 TiB 为单位,可用于当前地区的所有舰队。 AWS |
| 永久通用固态硬盘 (gp3) 卷的存储,以 TiB 为单位 | 每个受支持的区域:4 个 | 是 |
当前区域中可在永久通用固态硬盘 (gp3) 卷上配置的最大聚合存储量,以 TiB 为单位。 AWS |
| 每个服务器场的存储配置文件数 | 每个受支持的区域:50 个 | 否 | 可以为当前 AWS 区域中每个农场创建的最大存储配置文件数。 |
| 每个区块的任务 | 每个受支持的区域:150 个 | 否 | 提交作业时可以合并为单个区块的最大任务数。 |
| 每个作业的任务数 | 每个受支持的区域:10000 个 | 是 |
当前 AWS 区域中每个任务的最大任务数。 |
| 每个步骤的任务数 | 每个受支持的区域:10000 个 | 是 |
当前 AWS 区域中每步的最大任务数。 |
| Wait-and-save 每个区域的 vCPU | 每个受支持的区域:50 个 | 是 |
当前区域内所有服务管理队列中可以配置的最大等待并保存的 vCPU 数量。 AWS |
| 每个服务器场的工作线程数 | 每个支持的区域:7,500 | 是 |
当前 AWS 地区每个农场的最大工人数。 |
API 请求节流
Deadline Cloud 限制了每个人 AWS 账户 的 API 请求速率 AWS 区域。默认请求率支持大规模工作负载和使用量。当您的请求超过允许速率时,使用 HTTP 429 状态码和错误 Deadline Cloud 拒绝该请求。ThrottlingException
S AWS DK 和使用指数退 AWS CLI 避功能自动重试受限制的请求。偶尔会出现限制问题,无需更改应用程序。如果您遇到持续的限制,请联系AWS 支持部门申请
相关服务的配额
某些 Deadline Cloud 功能使用其他功能 AWS 服务,这些服务的配额也适用。
客户管理的队列的 Amazon EC2 配额
您的亚马逊弹性计算云 (Amazon EC2) 配额适用于客户管理的队列,因为这些工作人员在您自己的账户中的实例上运行。改为根据上表中的 Deadline Cloud vCPU 和 GPU 配额计算服务管理的队列计数。
要查看或增加您的亚马逊 EC2 配额,请打开服务配额控制台
的亚马逊 Bedrock 配额 Deadline Cloud assistant
在您的中截止日期云助手使用亚马逊 Bedrock 按需推断 AWS 账户,因此您的账户的亚马逊基岩服务配额适用。两个主要限制因素是:
-
每分钟请求数 (RPM) -每分钟允许的模型调用请求数。
-
每分钟令牌 (TPM) — 每分钟处理的输入和输出令牌总数。
默认配额因地区而异。某些区域的默认限制较低,低至 20 RPM,这可能会导致大量使用助手时出现节流。该助手使用跨区域推理配置文件,至少支持 200 RPM。 Cross-region推理可以帮助缓解单区域限制较低的区域的限制。如果您的地区使用跨区域推理,则目标区域的服务配额也适用。
如果您在使用助手时遇到限制错误,则可以申请增加亚马逊 Bedrock 服务配额:
请求增加限额
-
打开服务限额控制台
。 -
在导航窗格中,选择AWS 服务,然后选择亚马逊基岩。
-
查找助手使用的模型的配额(查找与相关模型相关的
InvokeModelWithResponseStream配额)。 -
选择配额名称,然后选择在账户级别申请增加配额。
-
输入所需的配额值并提交申请。
您可以通过 CloudWatch 指标监控您的亚马逊 Bedrock 配额使用情况。在 Amazon Bedrock 限制指标上设置 CloudWatch 警报,以确定您何时接近配额限制。有关更多信息,请参阅《亚马逊基岩用户指南》中的监控亚马逊基岩。