View a markdown version of this page

Deadline Cloud 虚拟文件系统 - AWS 截止日期云
启用 VFS 支持VFS 支持疑难解答

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Deadline Cloud 虚拟文件系统

Deadl AWS ine Cloud 中对工作附件的虚拟文件系统支持使工作人员上的客户端软件能够直接与亚马逊简单存储服务通信。工作人员只能在需要时加载文件，而不是在处理之前下载所有文件。文件存储在本地。这种方法可以避免下载多次使用的资产。任务完成后，所有文件都将被删除。

  • 虚拟文件系统为特定的作业配置文件提供了显著的性能提升。通常，总文件中较小的子集和更大的工作人员队列显示出最大的好处。工作人员较少的少量文件的处理时间大致相同。

  • 虚拟文件系统支持仅适用于服务管理队Linux列中的工作人员。

  • 截止日期云虚拟文件系统支持以下操作，但不兼容 POSIX：

    • 文件createdelete、open、close、read、writeappend、truncate、rename、move、copystat、fsync、和 falloc

    • 目录create、deleterename、move、copy、和 stat

  • 虚拟文件系统旨在在任务仅访问大型数据集的一部分时减少数据传输并提高性能，并且未针对所有工作负载进行优化。在运行生产任务之前，您应该测试工作负载。

启用 VFS 支持

为每个作业启用虚拟文件系统支持 (VFS)。在这些情况下，作业会退回到默认的作业附件框架：

  • 工作器实例配置文件不支持虚拟文件系统。

  • 问题会阻止启动虚拟文件系统进程。

  • 无法挂载虚拟文件系统。

使用提交者启用虚拟文件系统支持

  1. 提交作业时，选择 “设置” 按钮以打开 Deadl AWS ine Cloud 工作站配置面板。

  2. 从 “作业附件文件系统选项” 下拉列表中，选择 “虚拟” 。

    Deadline Cloud 提交者显示了作业附件文件系统的选项。

  3. 要保存更改，请选择 “确定” 。

要启用虚拟文件系统支持，请使用 AWS CLI

  • 提交已保存的作业时使用以下命令：

    deadline bundle submit-job --job-attachments-file-system VIRTUAL

要验证虚拟文件系统是否已成功启动特定任务，请在 Amazon Logs 中查看您的 CloudWatch 日志。查找以下消息：

Using mount_point mount_point
Launching vfs with command command
Launched vfs as pid PID number

如果日志包含以下消息，则禁用虚拟文件系统支持：

Virtual File System not found, falling back to COPIED for JobAttachmentsFileSystem.

虚拟文件系统支持疑难解答

您可以使用截止日期云监视器查看虚拟文件系统的日志。有关说明，请参阅在 Deadline Cloud 中查看会话和工作人员日志。

虚拟文件系统日志还会发送到 CloudWatch 日志组，该组与与工作器代理输出共享的队列相关联。