自动模型调优的资源限制 - Amazon SageMaker

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

自动模型调优的资源限制

SageMaker 为自动模型调整使用的资源设置以下默认限制:

资源 区域 默认限制 可以增加至

并行(并发)超参数调优作业数

全部

100

不适用

可搜索的超参数数量 *

全部

30

不适用

每个超级参数调优作业所定义的指标数

全部

20

不适用

每个超级参数调优作业的并发训练作业数

全部

10

100

[贝叶斯优化] 每个超级参数调优作业的训练作业数

全部

750

不适用

[随机搜索] 每个超级参数调优作业的训练作业数

全部

750

10000

[Hyperband] 每个超级参数调优作业的训练作业数

全部

750

不适用

[网格] 每个超参数调优作业的训练作业数,可以是明确指定的,也可以是从搜索空间推断出来的

全部

750

不适用

超参数调优作业的最大运行时

全部

30 天

不适用

* 每个分类超参数最多可以有 30 个不同的值。

资源限制示例

在计划超参数调优作业时,还必须考虑训练资源限制。有关 SageMaker 训练作业的默认资源限制的信息,请参阅SageMaker限制。运行所有超参数调优作业的每个并发训练实例,都计入允许的训练实例总数内。例如,如果您运行 10 个并发超参数调优作业,每个超参数调优作业总共运行 100 个训练作业,各运行 20 个并发训练作业。每个训练作业在一个 ml.m4.xlarge 实例上运行。以下限制适用:

  • 并发超参数调优作业数:无需放宽限制,因为 10 个调优作业低于 100 的限制。

  • 每个超参数调优作业的训练作业数:无需放宽限制,因为 100 个训练作业低于 750 的限制。

  • 每个超参数调优的并发训练作业数:需要请求将限制放宽到 20,因为默认限制为 10。

  • SageMaker 训练 ml.m4.x large 实例:您需要请求将限制提高到 200,因为您有 10 个超参数调整作业,每个任务都在运行 20 个并发训练作业。默认限制为 20 个实例。

  • SageMaker 训练总实例数:您需要请求将限制提高到 200,因为您有 10 个超参数调整作业,每个任务都在运行 20 个并发训练作业。默认限制为 20 个实例。

请求增加限额:
  1. 打开 AWS 支持中心页面,登录(如有必要),然后选择创建案例

  2. 创建案例 页面上,选择增加服务限制

  3. 案例详细信息面板上,为极限类型选择SageMaker 自动模型调整 [超参数优化]

  4. 请求面板中,对于请求 1,选择地区、要增加的资源限制,以及您请求的新的限制值。如果您还有增加限额请求,可选择添加另一个请求

    请求增加资源限制用户界面。
  5. 案例描述面板中,提供有关您使用案例的描述。

  6. 联系选项面板中,选择您的首选联系方式Web聊天电话),然后选择提交