View a markdown version of this page

自动扩缩配置 - AWS 截止日期云

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

自动扩缩配置

Deadline Cloud 提供自动扩展配置选项,允许您自定义您的队列如何向上和向下扩展员工。这些设置可帮助您根据工作流程要求平衡任务处理速度和成本效率。

您可以为您的队列配置以下自动扩展设置:

  • 最低工人数 -指定车队中始终保持的最低工人人数。

  • 最大工作人员数 -限制可以同时运行的工作人员数量。

  • 横向扩展率 -控制向您的队伍添加员工的速度。

  • 工作人员空闲时间 -控制工作人员在关闭之前等待新工作的时间。

  • 待机工作人员数量 — 保持空闲工作人员的热备用池,以快速启动作业。

自动缩放的工作原理取决于您的队列类型:

  • Service-managed 舰队 — Deadline Cloud 会根据您的配置自动实现自动扩展。您配置设置,服务将处理工作器配置。

  • Customer-managed 队列 — 如果您已经完成了客户管理队列的自动扩展设置,则自动扩展配置的工作原理与服务管理队列的配置相同。该服务使用配置来计算所需的容量,并将推荐的舰队规模事件发送到您的队列。有关更多信息,请参阅 Deadl ine Cloud 开发人员指南中的为客户管理的队列设置自动扩展。

横向扩展率

scale out rate (scaleOutWorkersPerMinute) 设置控制了当您的机队规模扩大时,每分钟有多少工作人员开始启动。横向扩展率决定了大型任务到达时机队的扩大速度。工作人员需要几分钟才能启动。要保持大量可以立即开始作业的工作人员,请设置待机工作人员人数。有关更多信息,请参阅 待机工作人员人数

配置横向扩展速率时请考虑以下几点:

  • 更高的费率可以更快地启动更多员工,这可以缩短大型任务的任务完成时间。

  • 更高的费率可能会调动比执行短期任务所需的更多员工,从而增加成本。

  • 较低的费率可以帮助更早地发现任务故障,并减少因在失败的任务上浪费计算而造成的成本。

  • 对于短期任务,保守的扩展方法可能更具成本效益,因为与实际任务执行相比,工作人员加载环境的时间更少。

注意

横向扩展率是尽力而为的设置。实际扩展速度可能会因实例可用性和其他系统因素而异。在极少数情况下,实际速率可能会短暂超过配置值。

工作人员空闲时长

工作人员空闲时间 (workerIdleDurationSeconds) 设置控制工作人员在完成任务处理后保持可用的时间,以秒为单位。默认值为 300 秒(5 分钟)。

此设置对于艺术家经常修改和重新提交作业的迭代工作流程很有用。通过延长工作人员的可用时间,后续提交的任务可以立即开始处理,无需等待新工作人员启动。

配置工作人员空闲时长时请考虑以下几点:

  • 更长的持续时间使工作人员可以快速迭代,从而减少作业提交之间的等待时间。但是,较长的工期会增加成本,因为空闲员工继续产生费用。

  • 较短的工期可以更快地关闭闲置员工,从而降低成本。

  • 对于服务管理的队列,最大值为 86,400 秒(24 小时),因为工作人员每 24 小时刷新一次。如果工作人员已运行 23 小时且您将空闲时长设置为 10 小时,则该工作人员将在 1 小时后达到 24 小时限制时关闭。

待机工作人员人数

待机工作人员数 (standbyWorkerCount) 设置指定了要作为热备用池维护的空闲工作人员的数量。这些工作人员可以在不延迟启动新实例的情况下处理新任务。

当您想要减少任务启动延迟时,此设置很有用。例如,在使用 Windows 实例进行渲染、使用安装本地依赖项的主机配置脚本或工作程序需要大量设置时间时,备用工作线程会很有用。舰队会尝试保持配置的空闲员工数量,但在替代工作人员启动时,空闲人数可能会暂时下降。

配置待机工作人员数量时请考虑以下几点:

  • 即使不处理作业,待命工作人员也会产生成本。平衡待机工作人员数量与预算和任务启动延迟要求之间的关系。

  • 当舰队达到其最大工作人员数量时,备用池可能无法完全维护。例如,如果所有员工都很忙并且车队已达到最大规模,则不会启动额外的空闲员工。

  • 当备用工作人员数超过最小工作人员数时,最小工作人员数将被有效覆盖。例如,如果最小值为 1,待机值为 2,则当没有工作可用时,机队会保留 2 名空闲员工,从而使最低设置变得多余。

下图显示了最低工作人员数和待机工作人员数如何影响舰队扩展行为。选择一个选项卡来查看每个场景。

Minimum worker count
该图显示了无论工作量如何,最低工作人员人数如何保持固定的工作人员总数。
Standby worker count
该图显示了待机工作人员人数如何保持固定数量的空闲员工,在他们接到工作时启动替代人员。

要按计划自动调整待机工作人员人数,请使用 fleet_standby_s cheduling 中的 sample AWS CloudFormation (CloudFormation) 模板。 GitHub

配置自动缩放设置

您可以在创建队列或更新现有队列时配置自动扩展设置。

配置自动缩放设置
  1. 打开 De adline Cloud 控制台

  2. 导航到包含您的舰队的农场。

  3. 选择 “舰队” 选项卡。

  4. 选择要配置的队列,然后选择编辑

  5. Auto Scaling 部分中,配置以下设置:

    • 最低工人数 -输入要维持的最小工人数。

    • 最大工作人员数 -输入允许的最大工作人员数。

    • 横向扩展率 -输入每分钟要启动的工作人员数量。

    • 工作人员空闲持续时间 -输入工作人员在关闭之前保持空闲状态的秒数。

    • 待机工作人员数 -输入要维护的待机工作人员数量。

  6. 选择保存更改