View a markdown version of this page

将文件上传到 Deadline Cloud 作业附件 - 截止日期云

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

将文件上传到 Deadline Cloud 作业附件

网站上的 upload_to_job_attactions Python 脚本以内容可寻 GitHub 址存储格式将文件和目录从您的工作站上传到截止日期云任务附件 Amazon S3 存储桶。文件上传后，引用这些文件的作业无需再次上传。该脚本对于使用大型数据集预填充作业附件很有用。

该脚本提供以下内容：

  • 递归上传文件或整个目录。

  • Multi-threaded 转移。

  • 自动重复数据删除可跳过 Amazon S3 中已有的文件。

  • 使用指数退避重试逻辑。

  • 两种配置模式：直接 Amazon S3 规范或队列查询。

通过指定队列上传：

python upload_to_job_attachments.py \
    --farm-id farm-1234567890abcdef \
    --queue-id queue-1234567890abcdef \
    --paths /path/to/files /path/to/directory

或者直接上传到 Amazon S3 存储桶和前缀：

python upload_to_job_attachments.py \
    --s3-bucket my-bucket \
    --s3-prefix job-attachments \
    --paths /path/to/files

对于高带宽网络，增加--threads和。--max-concurrency对于带宽受限的环境，设置--max-bandwidth为限制上传。对于大文件，请增加--multipart-chunksize。

有关在 Amazon S3 存储桶之间复制文件的基于任务的替代方案，请参阅。将 S3 前缀复制到 Deadline Cloud 上的作业附件