View a markdown version of this page

Charger des fichiers dans les pièces jointes aux jobs de Deadline Cloud - Deadline Cloud

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Charger des fichiers dans les pièces jointes aux jobs de Deadline Cloud

Le script Python upload_to_job_attachments du GitHub site Web télécharge des fichiers et des répertoires depuis votre poste de travail vers un compartiment Amazon S3 de pièces jointes à une tâche Deadline Cloud dans un format de stockage adressable par le contenu. Une fois les fichiers chargés, il n'est pas nécessaire de les charger à nouveau pour les tâches qui les référencent. Le script est utile pour pré-remplir les pièces jointes à des tâches avec de grands ensembles de données.

Le script fournit les informations suivantes :

  • Chargements récursifs de fichiers ou de répertoires entiers.

  • Multi-threaded transferts.

  • Déduplication automatique qui ignore les fichiers déjà présents dans Amazon S3.

  • Réessayez la logique avec un retard exponentiel.

  • Deux modes de configuration : spécification directe d'Amazon S3 ou recherche dans la file d'attente.

Téléchargez en spécifiant une file d'attente :

python upload_to_job_attachments.py \
    --farm-id farm-1234567890abcdef \
    --queue-id queue-1234567890abcdef \
    --paths /path/to/files /path/to/directory

Ou téléchargez-le directement dans un compartiment Amazon S3 avec un préfixe :

python upload_to_job_attachments.py \
    --s3-bucket my-bucket \
    --s3-prefix job-attachments \
    --paths /path/to/files

Pour les réseaux à haut débit, augmentez --threads et. --max-concurrency Pour les environnements où la bande passante est limitée, configurez --max-bandwidth pour limiter les téléchargements. Pour les fichiers volumineux, augmentez--multipart-chunksize.

Pour une alternative basée sur les tâches qui copie des fichiers entre des compartiments Amazon S3, consultez. Copier un préfixe S3 dans les pièces jointes des offres d'emploi sur Deadline Cloud