View a markdown version of this page

将您的本地渲染农场扩展到云端 - 截止日期云

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

将您的本地渲染农场扩展到云端

您已经在本地运行了渲染农场,并且需要在高峰需求期间获得额外的容量,而无需购买和维护更多硬件。借助 De AWS adline Cloud(Deadline Cloud),您可以将云工作者添加到与本地工作人员相同的农场,并将任务发送到任一地点。在需求旺盛的时期,将溢出工作发送到云端通常称为云爆发。

混合农场将两种车队合并到一个农场中:

  • 您现有的本地工作人员以客户管理的队列 (CMF) 的形式运行。您可以控制主机、操作系统和软件。工作人员可以是本地服务器、托管设施中的服务器或亚马逊弹性计算云 (Amazon EC2) 实例。有关更多信息,请参阅 创建和使用 Deadline Cloud 客户管理的舰队。

  • 您的云容量以服务管理队列 (SMF) 的形式运行,其中 Deadline Cloud 为您管理工作主机、扩展和修补。当您需要更多控制时,您还可以将云容量作为客户管理的 Amazon EC2 实例队列来运行。有关更多信息,请参阅 配置和使用 Deadline Cloud 服务管理的舰队。

Deadline Cloud 通过队列将工作发送给您的舰队,因此请在扩建农场之前决定如何组织队列。由于服务管理的队列和客户管理的队列安装应用程序的方式不同,因此您可以为每种队列类型提供自己的队列或在两种队列类型之间共享一个队列。有关这两种方法的比较,请参见选择队列策略。

无论您选择哪种队列策略,都要为以下每个层进行规划,以便您的任务在每个队列上都能正常运行。本主题的其余部分描述了每个层次并提供了指向详细说明的链接。

下表汇总了混合农场中可以组建的三种工人之间各层的不同之处。您的本地工作人员和您的云端 Amazon EC2 实例都是客户管理的队列,但它们到达您的数据和网络的方式不同,因此该表分别列出了它们。

层 On-premises (客户管理的机队) 云客户管理的队列 (Amazon EC2) Service-managed 舰队
工作人员主机 您可以预置和管理自己的硬件、操作系统和补丁。 您可以预置和管理 Amazon EC2 实例。 截止日期云管理主机、操作系统和补丁。
应用程序 在您的工作人员上预安装应用程序,或在 Amazon S3 中使用 conda 频道。 预安装应用程序,将它们编译成 Amazon Machine Image (AMI),或者在 Amazon S3 中使用 conda 频道。 自动从 Deadline c Cloud-managed onda 频道安装热门的 DCC。要提供自定义应用程序,请在 Amazon S3 中使用主机配置脚本或您自己的 conda 频道。有关支持的应用程序的列表,请参阅支持的软件。
许可 连接 UBL 的许可证端点,或连接您自己的 BYOL 许可证服务器。 连接 UBL 的许可证端点,或连接您自己的 BYOL 许可证服务器。 UBL 是自动配置的。对于 BYOL,使用 SSM 将许可证端口转发到您的服务器。
资产访问权限 使用工作附件或您的工作人员已经安装的共享存储。 在 VPC 中使用任务附件或共享存储。 使用任务附件,或通过 VPC 资源终端节点连接到 VPC 中的共享存储。
规模和成本 您拥有的固定容量。 使用 Amazon EC2 Auto Scaling 组根据需求增加和缩减容量。 在您设置的最小和最大工作人员数量之间自动缩放。

在您的车队中分配任务

当您将一个队列与多个队列关联时,Deadline Cloud 会在与每个任务兼容的队列之间分配任务。调度器将每个步骤的主机要求与每个队列声明的工作器能力进行比较,并在满足这些要求的队列上运行该步骤。有关更多信息,请参阅 在 Deadline 云中安排作业。

要自动平衡舰队之间的容量,您可以使用容量管理器示例。它使用 Lambda 函数和 EventBridge 调度器来调整队列工作人员人数,同时保持目标总容量。在需求高峰期间,您可以调整相同的模式,将容量转移到云机群。有关更多信息,请参阅 通过以下方式管理混合的 “等待” 和 “节省” 以及 Spot 队列 CloudFormation。

注意

Deadline Cloud 不提供内置设置,让一个队列优先于另一个队列,例如先填充本地队列,然后再填充云队列。要将特定工作引导到特定地点,请在每个机队上定义不同的工作人员能力,然后对必须在该地点运行的步骤设置相应的主机要求。要自动估算队列优先级,请使用前一段中描述的容量管理器示例。

选择队列策略

Service-managed 队列和客户管理的队列以不同的方式安装和管理应用程序,因此在将队列与队列关联之前,请先决定如何组织队列。在服务管理队列上,默认 conda 队列环境会自动安装任务请求的 conda 软件包。 Customer-managed 默认情况下,队列未安装 conda 命令,因此相同的队列环境会导致您的客户管理的工作人员出错。

您可以通过以下两种方式之一来解决差异:

  • 为每种队列类型使用单独的队列(推荐)-将您的服务管理队列与使用默认 conda 队列环境的队列关联起来,将您的客户管理的队列与不使用该队列的单独队列关联起来。每种舰队类型都有其预期的应用程序设置,并且可以避免 conda 错误。您将每个作业提交到要运行任务的位置的队列中。

  • 在两种舰队类型之间共享一个队列 — 将两个队列与同一个队列关联起来,这样 Deadline Cloud 将每个任务分配到任何有可用容量的地点,而无需更改您提交任务的位置。共享队列需要更多的设置,因为你无法使用默认的 conda 队列环境。相反,您以适用于两种舰队类型的方式提供应用程序。当您希望峰值工作负载自动溢出到云端时,请选择共享队列。

要在共享队列上运行应用程序,请在两种队列类型的 Amazon Simple Storage Service (Amazon S3) 中创建您自己的 conda 频道,或者直接在您的客户管理的工作人员上安装应用程序并调整队列环境,使应用程序显示在任务用户的路径上。有关更多信息,请参阅使用 S3 创建 conda 频道和使用队列环境配置作业。

两支舰队的许可证申请

Deadline Cloud 提供基于使用量的许可 (UBL),您也可以自带许可证 (BYOL)。这两个选项都适用于云和本地工作人员。有关概述,请参阅通过 Deadline Cloud 使用软件许可证。

  • UBL 是在服务管理的队列上自动配置的。要在客户管理的队列(包括本地工作人员)上使用 UBL,请连接许可证终端节点。有关更多信息,请参阅 将客户管理的队列连接到许可证端点。

  • 要将您的现有许可证服务器与服务管理队列一起使用,请使用 Amazon EC2 系统管理器 (SSM) 将许可证端口从工作人员转发到您的许可证服务器或代理。有关更多信息,请参阅 将服务管理的队列连接到自定义许可证服务器。

  • 要先使用现有许可证,在用尽后再使用 UBL,请将 BYOL 和 UBL 结合起来。有关更多信息,请参阅 将 BYOL 和 UBL 结合起来。

让两支舰队都能访问你的资产

两个队列都需要访问您的任务读取和写入的数据。Deadline Cloud 支持两种方法,您可以将它们一起使用:

  • 任务附件 — Deadline Cloud 将任务所需的文件上传到 Amazon S3,然后下载输出。作业附件无需共享存储设置,可与任何规模的舰队一起使用。如果您的数据已经存在 AWS,则作业附件会添加另一个数据副本,以及相关的传输时间和存储成本。

  • 共享存储 -您的工作人员会安装一个共享文件系统来保存您的资产。为了简化本地和云工作人员管理资产的方式,您可以使用 VPC 资源终端节点将服务管理的队列工作人员连接到虚拟私有云 (VPC) 中的共享存储。然后,两种舰队类型读取和写入相同的文件。有关更多信息,请参阅 使用 VPC 资源终端节点将 VPC 资源连接到您的 SMF。

由于您的本地工作站和云工作者可以使用不同的操作系统和文件系统布局,因此使用存储配置文件对每种配置进行建模。存储配置文件允许 Deadline Cloud 映射路径,这样无论在哪里提交作业,工作人员都可以找到数据。有关更多信息,请参阅存储配置文件和路径映射。

将云工作者连接到您的网络

云工作者通常需要访问在您的 VPC 或本地网络中运行的资源,例如共享文件系统、许可证服务器和数据库。借助服务管理队列的 VPC 资源终端节点,您的工作人员可以通过使用 VPC Lattice 的私有连接连接到这些资源。有关更多信息,请参阅 使用 VPC 资源终端节点将 VPC 资源连接到您的 SMF。

要在服务管理的队列工作人员上装载文件系统或配置其他网络访问权限,请使用主机配置脚本。当工作人员启动时,主机配置脚本以管理员权限运行。有关更多信息,请参阅 使用管理员权限运行主机配置脚本。

注意

通过 VPC 资源终端节点的流量使用网络地址转换 (NAT),这与所有资源不兼容。例如,微软 Active Directory 无法通过 NAT 连接。

将应用程序与每种机队类型相匹配

确认您的工作使用的每个数字内容创作 (DCC) 应用程序都可以在两种舰队类型上运行。在服务管理的队列上,Deadline Cloud-managed conda 频道会自动提供热门的 DCC。对于该渠道不提供的应用程序,或者对于无法使用该渠道的客户管理的员工,请按照中所选择队列策略述自行打包应用程序。有关支持的应用程序的列表,请参阅《Deadl AWS ine Cloud 用户指南》中的支持的软件。

控制云成本

要仅在高峰需求期间为云容量付费,请在云机群闲置时缩小其规模。 Service-managed 队列会在您设置的最小和最大员工人数之间自动扩展。对于客户管理的 Amazon EC2 实例队列,您可以配置自动扩展,使队列随需求增长和缩小。有关更多信息,请参阅 使用 Amazon EC2 Auto Scaling 组创建队列基础设施。

有关设计涵盖任务提交、应用程序管理、许可、资产访问和工作人员基础架构的端到端 Deadline Cloud 工作流程的指南,请参阅截止日期云架构指南。

有关可运行的示例,包括将共享文件系统连接到服务管理队列的参考模板,请参阅网站上的 d eadline-cloud-samples 存储库。 GitHub