View a markdown version of this page

Dateien in die Jobanhänge von Deadline Cloud hochladen - Deadline Cloud

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Dateien in die Jobanhänge von Deadline Cloud hochladen

Das Python-Skript upload_to_job_attachments auf der GitHub Website lädt Dateien und Verzeichnisse von Ihrer Workstation in einen Amazon S3-Bucket mit Auftragsanhängen von Deadline Cloud in einem inhaltsadressierbaren Speicherformat hoch. Nachdem die Dateien hochgeladen wurden, müssen Jobs, die auf sie verweisen, sie nicht erneut hochladen. Das Skript ist nützlich, um Jobanhänge vorab mit großen Datensätzen auszufüllen.

Das Skript bietet Folgendes:

  • Rekursive Uploads von Dateien oder ganzen Verzeichnissen.

  • Multi-threaded Übertragungen.

  • Automatische Deduplizierung, bei der Dateien übersprungen werden, die sich bereits in Amazon S3 befinden.

  • Versuchen Sie es erneut mit Logik und exponentiellem Backoff.

  • Zwei Konfigurationsmodi: direkte Amazon S3-Spezifikation oder Warteschlangensuche.

Laden Sie hoch, indem Sie eine Warteschlange angeben:

python upload_to_job_attachments.py \
    --farm-id farm-1234567890abcdef \
    --queue-id queue-1234567890abcdef \
    --paths /path/to/files /path/to/directory

Oder laden Sie direkt in einen Amazon S3-Bucket hoch und fügen Sie ein Präfix hinzu:

python upload_to_job_attachments.py \
    --s3-bucket my-bucket \
    --s3-prefix job-attachments \
    --paths /path/to/files

Erhöhen Sie für Netzwerke mit hoher Bandbreite --threads und--max-concurrency. Stellen Sie für Umgebungen mit eingeschränkter Bandbreite die Option Uploads drosseln ein. --max-bandwidth Erhöhen Sie bei großen Dateien. --multipart-chunksize

Eine auftragsbasierte Alternative, bei der Dateien zwischen Amazon S3-Buckets kopiert werden, finden Sie unter. Kopieren Sie ein S3-Präfix in Jobanhänge in Deadline Cloud