View a markdown version of this page

截止日期云架构指南 - 截止日期云

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

截止日期云架构指南

本主题为使用 Deadline Cloud 为工作负载设计和构建可靠、安全、高效且经济实惠的渲染农场提供了指导和最佳实践。使用本指导可以帮助您构建稳定、高效的工作负载,从而使您能够专注于创新、降低成本并改善客户体验。

此内容面向首席技术官 (CTO)、架构师、开发人员和操作团队成员。

端到端渲染工作流程需要在流程的多个层面提供解决方案,例如任务生成、资产访问和作业监控。截止日期云为渲染过程的每一层提供多种解决方案。通过从每个层的 Deadline Cloud 选项中进行选择,您可以设计与您的用例相匹配的工作流程。

对于每一层,确定哪种方法最适合您的用例。这些场景不是严格的定义,也不是使用 Deadline Cloud 的唯一方法。相反,它们构成了一组高级概念,可帮助您了解Deadline Cloud如何能够适应您的业务或工作流程。您可以将 Deadline Cloud 工作负载分为以下几层:任务来源、作业提交、应用程序管理、应用程序许可、资产访问、输出管理和工作基础架构管理。

通常,您可以将一个图层中的任何场景与另一层中的任何其他场景混合搭配,但下面指定的特定组合除外。

该图显示了 Deadline Cloud 的不同部分如何协同工作。

工作来源

任务源是接入点,新任务将进入系统,由 Deadline Cloud 呈现。从高层次来看,有两个主要的工作来源:人类互动和自动化计算机系统。

交互式工作流程

在这种情况下,艺术家或其他创作角色是要在 Deadline Cloud 农场中处理的作品的主要生成器。通常,这些作业的输出是大型项目或团队的主要产物。他们使用行业标准数字内容创作 (DCC) 工具等软件执行工作。他们正在手动向截止日期云农场提交作业,并在之后查看输出以进行审查。工作站本身不由管理 AWS。

在大多数情况下,这些艺术家在工作负载应用程序和监控层中使用 Deadline Cloud 集成提交者和 Deadline Cloud 监控器。

自动化工作流程

在这种情况下,客户拥有的编程系统是 Deadline Cloud 农场中任务的主要生成器。这些工作可能是在零售渠道中创造资产,例如由三维模型或扫描生成的唱盘视频。另一个例子是自动合成广播图形和体育选手卡。这个场景的主题是个人不是手动将每个任务提交到 Deadline Cloud,而是作为更大系统的一部分生成的。

对于自动化作业,使用 Deadline Cloud 集成提交者和 Deadline Cloud 监控器的情况并不常见。工作定义通常是您编写的自定义应用程序开发,任务输出将自动流入数字资产管理 (DAM) 系统或媒体资产管理 (MAM) 系统进行批准和分发。

工作提交

使用OpenJobDescription模板将作业提交到 Deadline Cloud。 OpenJobDescription 是一种灵活的开放规范,用于定义可在不同调度系统部署之间移植的批处理作业。作业定义文件描述了作业的参数、作业的步骤、如何根据作业输入对步骤进行参数化,以及将在工作器上运行以执行处理的实际脚本。工作负载提交的概念是如何创建这些作业定义、由谁创建以及如何提交它们。

带有 DCC 的集成提交器

截止日期云集成提交器是一款将截止日期云与行业标准 DCC 或软件包结合在一起的软件。集成提交者决定如何将渲染、复合或其他工作负载的数据和配置转换为作业模板,Deadline Cloud 可以理解这一点。许多集成提交者是由Deadline Cloud团队或软件包的创建者创建和维护的,但是如果所需的应用程序尚不存在集成提交者,则可以创建和维护自己的提交者。Deadline Cloud 团队支持的 DCC 数量有限。

交互式工作流程通常涉及综合提交者,但并非总是如此。对于模板化的自动化工作流程,常见的工作流程是艺术家在其 DCC 中设置模板作业,并对作业包执行一次性导出。 该任务包定义了如何以参数化方式在 Deadline Cloud 上运行该特定类型的作业。此任务包可以集成到自动化工作流程场景中,以实现自动化。

自定义任务定义

对于自定义应用程序和工作流程,可以完全控制这些任务定义的创建和提交到 Deadline Cloud 的方式。例如,电子商务网站可能会要求卖家上传他们出售的物品的三维模型。上传后,电子商务平台可以动态生成任务定义以提交给 Deadline Cloud,从而使用普通照明在公共背景上自动生成转盘动画,以匹配网站上可用的其他 3D 对象。在电子商务平台开发过程中,软件开发人员将创建任务定义,使用最终由卖家提供的参数将其嵌入到电子商务平台中,并对平台进行编码,以便在平台的产品上传工作流程中提交该作业。

Deadline Cloud 在 github 的示例存储库中提供了许多示例任务定义。

应用程序管理

将作业提交到 Deadline Cloud 并分配给工作人员后,作业定义中的脚本将在工作人员上执行。在大多数情况下,此脚本将调用应用程序来执行实际处理,例如渲染器、合成、编码、筛选或许多其他计算密集型任务。应用程序管理是确保工作人员可以使用所需软件的必要版本的概念。

你可以使用任何你喜欢的包管理系统来管理应用程序,但是Deadline Cloud提供了许多工具来轻松启用conda软件包的使用。Conda 是一个开源、跨平台、与语言无关的包管理器和环境管理系统。

服务管理舰队 (SMF) 的截止日期 Cloud-managed conda 频道

使用服务管理队列时,系统会自动设置和配置 Deadline Cloud-managed conda 频道以供您的工作使用。Deadline Cloud 服务在此康达渠道中提供了许多合作伙伴 DCC 应用程序和渲染。有关更多信息,请参阅 Deadline Cloud 用户指南中的创建队列环境。这些软件包由 Deadline Cloud 服务自动保持最新状态,无需您进行维护。此 conda 渠道仅在使用服务管理队列时可用,在使用客户管理的队列时不可用。

Self-managed 康达频道

如果您无法使用 Deadline Cloud-managed conda 频道,则必须确定如何在 Deadline Cloud 队列上安装、修补和以其他方式管理应用程序。一种选择是创建一个由您设置和维护的 conda 频道。这种方法与 Deadline Cloud-managed conda 频道的互操作性最为密切。例如,你可以使用 Deadline c Cloud-managed onda 频道中的 DCC,但要自带包含特定 DCC 插件的软件包。有关此过程的更多信息,请参阅使用 S3 https://docs.aws.amazon.com/deadline-cloud/latest/developerguide/configure-jobs-s3-channel.html 创建 conda 频道。

自定义应用程序管理

对于应用程序管理,Deadline Cloud 的要求是,在工作器上执行作业脚本时,应用程序必须在 PATH 中可用。

如果您已经构建和维护 Rez 包,则可以使用队列环境从 Rez 存储库安装应用程序。队列环境示例可以在AWS 截止日期云 GitHub 组织中找到

如果您已经在由客户管理的具有长期工作人员的队列上或系统映像中管理应用程序,则无需队列环境即可进行应用程序管理。确保应用程序出现在作业用户的路径上并提交作业。

Application licensing

通常在 Deadline Cloud 上运行的许多工作负载需要软件供应商的软件许可。这些应用程序通常按座位、CPU 或主机授权。您有责任确保您在Deadline Cloud上使用第三方软件时遵守第三方许可协议。如果您使用开源软件、自定义软件或其他免许可软件,则无需配置此层。Deadline Cloud 仅支持渲染许可,不支持工作站许可。

Service-managed 舰队和基于使用量的许可

使用 Deadline Cloud 服务管理的队列时,会自动为支持的软件配置基于使用量的许可 (UBL)。在服务管理的队列上运行的作业会自动为支持的应用程序设置环境变量,以指导它们使用 Deadline Cloud 许可证服务器。使用 Deadline Cloud UBL 时,您只需按使用许可应用程序的小时数付费。

Customer-managed 舰队和基于使用量的许可

在不使用服务管理队列时,也可使用基于使用情况的截止日期云许可 (UBL)。在这种情况下,您将设置 Deadline Cloud 许可证终端节点,该终端节点在您选择的 VPC 子网中提供 IP 地址,从而提供对 Deadline Cloud 许可证服务器的访问权限。在您的工作人员上配置了相应的软件特定环境变量并配置了从工作人员到这些许可证端点 IP 地址的网络连接后,工作人员就可以签出和签入受支持软件的许可证。许可证按小时计费,与在服务管理队列中使用 UBL 时相同。

自定义许可

你可以使用不受 Deadline Cloud UBL 支持的应用程序,或者你可能已经拥有的许可证仍然有效。在这种情况下,您负责配置从员工(客户或服务管理)到许可证服务器的网络路径。有关自定义许可的更多信息,请参阅将服务管理的队列连接到自定义许可证服务器

资产访问权限

将任务提交给工作人员并配置应用程序后,必须将该工作人员配置为访问任务所需的资产数据。这些资源可以是 3D 数据、纹理数据、动画数据、视频帧或工作中使用的任何其他类型的数据。

首先考虑一下您的数据当前存储在哪里。数据可能位于工作站硬盘、用户协作工具、源代码控制、本地或云端的共享文件系统、Amazon S3 或任何其他位置上。

接下来,考虑工作人员访问这些数据所需的条件。这些数据是否仅在您的公司网络上可用? 访问数据需要什么身份或凭证? 数据源是否根据您预计处理任务的工作人员数量进行了扩展,以支持作业?

工作附件

最简单的资产访问机制是Deadline Cloud作业附件。使用任务附件提交任务时,任务所需的数据将连同一个清单文件一起上传到 Amazon S3 存储桶,该清单文件会指定任务需要哪些文件。有了工作附件,无需复杂的网络或共享存储设置。文件只能上传一次,因此后续上传可以更快地完成。工作人员完成任务处理后,输出数据将上传到 Amazon S3,这样艺术家或其他客户端就可以下载了。作业附件适用于任何规模的舰队,并且易于装载和使用。

工作附件并不是适用于所有情况的最佳工具。如果您的数据已经启用 AWS,则工作附件会添加额外的数据副本,包括相关的传输时间和存储成本。作业附件要求作业能够在提交时完全指定所需的数据,以便可以上传数据。

要使用作业附件,您的 Deadline Cloud 队列必须具有关联的作业附件存储分区,并且必须使用队列角色提供对该存储分区的访问权限。默认情况下,Deadline Cloud 集成提交者都支持作业附件。如果您不使用截止日期云集成提交器,则可以通过集成 Deadline Cloud python 库将作业附件与您的自定义软件一起使用。https://github.com/aws-deadline/deadline-cloud

自定义存储访问权限

如果您不使用工作附件,则有责任确保工作人员能够访问工作所需的数据。Deadline Cloud提供了许多工具来支持这一点并保持工作的便携性。当你已经为艺术家和工作人员共享网络存储空间时,你可能需要使用自定义存储解决方案,或者出于其他原因 LucidLink,你更喜欢使用外部服务。

使用存储配置文件对工作站和工作主机上的文件系统进行建模。每个存储配置文件都描述了您的一种系统配置的操作系统和文件系统布局。使用存储配置文件,当艺术家使用Windows工作站提交由Linux工作人员处理的作业时,Deadline Cloud可确保进行路径映射,以便工作人员可以访问您配置的数据存储。

使用 Deadline Cloud 服务管理的队列时,主机配置脚本 VPC 资源终端节点使工作人员能够直接挂载和访问您的 VPC 中可用的共享存储或其他服务。

Perforce 源代码控制

许多工作室都将项目文件保存在其中Perforce。当您的艺术家已经将其作品作为变更列表提交到Perforce服务器时,工作人员可以直接从该服务器同步Perforce客户端工作区,作为作业附件的替代方案。然后,您的作业会呈现与您的艺术家提交的文件修订版本相同的文件。虚幻引擎的 Deadline Cloud 集成包括Perforce同步支持。有关更多信息,请参阅《截止日期云用户指南》中的创建 Perforce 渲染作业。

两种做法可以大规模保持快速Perforce同步:

将增量同步到永久工作存储空间

在任务之间保留客户端工作空间,以便每次同步仅下载自上次使用该工作空间的作业以来更改的文件修订版本,而不是整个项目。在服务管理队列上,启用永久存储,以便承载同步工作空间的卷可以在工作人员之间重复使用。

将 Perforce 数据缓存在舰队附近

同步速度取决于您的工作人员和Perforce服务器之间的网络路径。该路径可能具有低吞吐量或高延迟,例如,当提交服务器位于本地或远程 AWS 区域时。与您的队列位于同一区域的Perforce边缘服务器充当仓库数据的缓存。使用Perforce提交边缘拓扑和 Perforce-native 复制进行部署。然后,每次资产修订都会通过较慢的链接进入边缘服务器,工作人员通过区域网络从边缘进行同步。服务管理队列上的工作人员可以通过 VPC 资源终端节点访问边缘服务器。边缘服务器的运营职责包括Perforce许可、监控复制延迟和备份。只有在边缘服务器复制了该变更列表后,以特定变更列表为目标的作业才能启动。

作业监控和输出管理

提交到 Deadline Cloud 的任务成功完成后,人员或流程将下载任务输出,用于截止日期云之外的业务工作流程。作业失败后,作业日志和监控信息有助于诊断问题。

截止日期云监视器

截止日期云监控应用程序可在网络上使用,也可用于台式机。该解决方案最适合使用交互式工作流程的工作室对许多使用作业附件进行存储的DCC进行交互式工作流程。监控器仅在使用 IAM 身份中心时支持您。IAM 身份中心是员工身份产品,不是消费者身份 (B2C) 解决方案,因此它不适用于许多 B2C 场景。

自定义监视器应用程序

如果您想自定义用户的监控体验,正在构建B2C产品,或者使用Deadline Cloud构建高度专业化的系统,则可以选择创建自定义监控应用程序。你可以使用 Deadl AWS ine Cloud API 来创建这个自定义应用程序,将整个工作流程的上下文与截止日期云的概念相结合。例如,您的B2C产品可能有自己的项目概念,用户可以设置该概念,并且您的应用程序可以在同一个界面中嵌套Deadline Cloud任务。

自动监控解决方案

在某些情况下,截止日期云不需要专用的监控应用程序。这种情况在自动化工作流程中很常见,其中使用 Deadline Cloud 在管道中自动渲染资产,例如体育或新闻的广播图形。在这种情况下,Deadline Cloud API和 EventBridge 事件用于与外部媒体资产管理系统集成,以进行批准并将数据移至流程的下一步。

员工基础架构管理

截止日期云队列是一组服务器(工作人员),它们能够处理提交到截止日期云队列的作业,是任何截止日期云农场的核心基础架构。

Service-managed 舰队

在服务管理队列中,Deadline Cloud 负责运行渲染农场的工作主机、操作系统、网络、补丁、自动扩展和其他因素。您可以指定所需的最小和最大工作人员数量以及应用程序所需的系统规格,剩下的就交给 Deadline Cloud 了。 Service-managed 舰队是唯一可以使用 Deadline Cloud-managed conda 频道轻松管理行业 DCC 应用程序的舰队选项。此外,Deadline Cloud UBL 会自动使用服务管理的队列进行配置。等待并保存队列以获得更低成本、容忍延迟的工作负载,只能使用服务管理队列。

Customer-managed 舰队

当您需要对员工主机及其环境进行更多控制时,可以使用客户管理的队列。 Customer-managed 队列最适合在本地使用 Deadline Cloud。要了解更多信息,请参阅创建和使用 Deadline Cloud 客户管理的舰队

架构示例

传统制作工作室

传统的制作工作室需要大量的计算、存储和网络基础设施,这些基础架构可以跨越多个物理位置来为渲染工作负载提供服务。每个单独的软件包和供应商都有独特的硬件、软件、网络和许可要求,在解决版本控制、兼容性和资源冲突时必须满足这些要求。

通常对艺术家工作站、渲染节点、网络存储、许可证服务器、任务队列系统、监控工具和资产管理有单独的基础架构要求。工作室通常需要维护多个版本的 DCC 工具、渲染器、插件和自定义工具,同时管理整个渲染农场的复杂许可安排。当你考虑开发、质量保证和制作环境时,你的工作室基础设施会变得更加复杂。

使用服务管理选项的典型Deadline Cloud部署通过以下方式解决或减少了其中许多挑战:

  • 通过集成的 DCC 提交者提交交互式工作流程作业

  • 通过 Deadline Cloud-managed conda 渠道管理应用程序

  • Usage-based 为支持的软件自动配置许可

  • 通过工作附件进行资产管理

  • 通过 Deadline 云监控应用程序进行监控

  • 通过服务管理的队列进行基础架构管理

使用这种方法,艺术家可以直接从他们熟悉的 DCC 工具将作业提交到可扩展的云渲染农场,而无需管理复杂的基础架构。该服务自动处理软件部署、许可、数据传输和基础设施扩展。艺术家可以通过 Web 界面或桌面应用程序监控他们的作业,输出会自动存储在 Amazon S3 中,便于访问。

使用这种配置,工作室可以在几分钟内创建开发和生产环境,只需为所使用的计算和许可付费,并专注于创造性工作而不是基础设施管理。服务管理方法为采用云渲染提供了最快的途径,同时保持了艺术家熟悉的工作流程。

该图显示了传统制作工作室如何使用 Deadline Cloud。

云端工作室

现代视觉效果和动画工作室越来越多地将其整个流程迁移到云端,包括艺术家工作站。这种方法消除了对本地基础设施的需求,实现了全球协作,并且可以扩展交互式工作和渲染。但是,它也在管理云资源、确保低延迟访问数据以及将基于云的工作站与渲染农场集成方面带来了新的挑战。

典型的云原生工作室需要采用统一的方法来管理所有这些组件的云工作站、共享存储、渲染基础设施和软件部署。传统方法通常会导致复杂的手动管理系统难以平衡性能、成本和灵活性。

可以使用以下方法实现云原生工作室的截止日期云部署:

  • 通过云工作站上的集成 DCC 提交器提交交互式工作流程作业

  • 通过 Deadline Cloud-managed conda 通道渲染节点进行应用程序管理

  • Usage-based 为支持的软件自动配置许可

  • 使用 FSx for F Windows ile Server 自定义存储访问共享项目数据

  • 通过 Deadline 云监控应用程序进行监控

  • 使用服务管理队列进行基础设施管理

这种方法允许艺术家在基于云的工作站上工作,直接访问高性能共享存储,并将作业提交到 Deadline Cloud 农场。该工作室可以使用相同的 conda 通道管理工作站和渲染节点之间的软件部署,从而确保一致性并减少维护开销。

此配置的主要优点包括:

  • 与能够从任何地方访问工作站的艺术家进行全球合作

  • 跨工作站和渲染节点的软件环境保持一致

  • High-performance 工作站和渲染节点均可访问共享存储

  • 灵活扩展交互式和批量计算资源

  • 集中管理云端的所有工作室基础设施

此场景中的存储配置通常涉及:

  • FSx for F Windows ile Server 用于存储项目数据,可供云工作站和 Deadline Cloud 工作人员访问

  • Deadline Cloud 中的存储配置文件用于管理工作站和渲染节点之间的路径映射

  • 使用 VPC 资源终端节点和主机配置脚本在 Deadline Cloud Workers 上直接挂载 FSx 共享

这种云原生方法允许工作室取消本地基础架构,从而可以快速扩展任何规模的项目,同时保持熟悉的艺术家工作流程。它提供了混合使用服务管理资源和客户管理资源的灵活性,针对易管理性和特定的性能要求进行了优化。

通过将云工作站与 Deadline Cloud 一起使用,工作室可以实现完全集成、全球可访问的制作流程,从小型团队扩展到大型制作。

电子商务自动化

现代电子商务平台需要大规模自动生成资产,以便为数百万件商品提供丰富的产品可视化。传统方法需要大量基础设施投资才能将大量 3D 模型处理成标准化产品介质,这通常会导致系统配置不足,从而造成处理积压,或者系统过度配置空闲容量。

典型的自动化电子商务工作流程需要处理产品上传处理、三维模型验证、渲染农场管理、输出处理以及与产品信息系统的集成。传统上,管理这些工作流程需要协调多个渲染应用程序、计算资源和数据处理管道,同时确保稳定的质量并保持大规模的成本效率。

可以使用以下方法实现电子商务自动化的 Deadline Cloud 部署:

  • 通过在现有电子商务采集应用程序中集成自定义 API,自动提交工作流程作业

  • 为标准化产品可视化量身定制的自定义任务定义

  • 通过 Deadline Cloud-managed conda 渠道管理应用程序

  • Usage-based 为支持的软件自动配置许可

  • 直接集成 Amazon S3 进行资产管理

  • 与现有产品管理系统集成的自定义监控应用程序

  • Service-managed 用于弹性扩展的舰队

这种方法可以每天处理数千种产品,自动生成标准化的产品可视化效果,例如转盘动画。服务管理的基础架构可自动扩展以满足不断变化的需求,同时通过员工重用和优化应用程序部署来保持成本效率。

该图显示了自动化电子商务工作流程在 Deadline Cloud 中的工作原理。

Whitelabel/OEM/B2C 顾客

传统的数字内容创作 (DCC) 软件通常要求用户维护自己的渲染基础设施或在工作站上本地处理渲染,这会导致大量的硬件投资或漫长的等待时间打断创作工作流程。对于软件供应商而言,提供云渲染功能传统上需要构建和维护复杂的基础设施和计费系统。

集成到 B2C 软件中的 Deadline Cloud 部署支持直接在用户熟悉的界面中进行云渲染。这种集成结合了:

  • 交互式工作流程作业提交嵌入到 DCC 应用程序中

  • 部署渲染应用程序的截止日期 Cloud-managed conda 频道

  • Usage-based 自动配置许可

  • 通过工作附件和供应商管理的存储进行资产管理

  • 自定义监控直接集成在 DCC 接口中

  • Service-managed 用户之间共享的舰队

这种方法允许最终用户在软件中单击一下即可将渲染图提交到云端,而无需管理帐户、基础设施或复杂的设置。软件供应商维护一个多租户环境,其中:

  • 用户通过其现有软件凭据进行身份验证

  • 任务会自动路由到专用的每用户队列

  • 使用 IAM-controlled 存储前缀安全地隔离资产

  • 账单通过供应商的现有系统处理

  • 作业状态和输出直接传输回用户的应用程序

共享队列方法通过维护大量员工、最大限度地缩短启动时间,同时最大限度地提高整个用户群的资源利用率来确保最佳性能。这种配置允许软件供应商将云渲染作为内置产品功能提供,而不是提供需要额外设置或帐户的单独服务。

最终用户受益于:

  • One-click 从他们熟悉的界面提交

  • Pay-as-you-go 无需基础设施管理即可定价

  • 通过共享基础架构缩短作业启动时间

  • 自动下载和组织已完成的渲染

  • 在所有平台上提供一致的体验

这种集成模式使软件供应商能够为其整个用户群提供企业级渲染功能,同时保持应用程序原生的简单、消费者友好型体验。

该图显示了 B2C 用户如何使用 Deadline Cloud。

混合渲染农场

已经在本地运行渲染农场的工作室可以增加云容量来处理峰值工作负载,而无需购买更多硬件。在混合农场中,您的本地工作人员作为客户管理的队列运行,您的云工作者作为服务管理的队列或客户管理的 Amazon EC2 实例队列运行,两个队列共享一个队列。由于设置因队列类型而异,因此您需要规划任务分配、应用程序环境、许可和资产访问权限,以便一个队列在任何地方都能运行。有关更多信息,请参阅 将您的本地渲染农场扩展到云端