Kopieren Sie ein S3-Präfix in Jobanhänge in Deadline Cloud

Das Auftragspaket copy_s3_prefix_to_job_attachments füllt den S3-Bucket für Job-Anhänge einer Warteschlange vorab aus, indem Dateien von dort kopiert werden, wo sie bereits in Amazon S3 gespeichert sind. Wenn Sie eine Deadline Cloud-Farm zu einem Projekt hinzufügen, das bereits über ein großes Datenvolumen verfügt, oder wenn Sie einen Job einreichen, der von vielen neuen Daten abhängt, wie z. B. einer Fluidsimulationsausgabe, kann das erste Hochladen der Auftragsanhänge langsam sein.

Da Auftragsanhänge inhaltsadressierten Speicher verwenden und niemals Dateien erneut hochladen, die sich bereits in Auftragsanhängen befinden, können Sie alternative Upload-Tools wie AWS Snowball oder AWS verwenden, DataSync um Daten zuerst in Amazon S3 zu kopieren, und dann diesen Job verwenden, um sie in den Bucket mit den Auftragsanhängen für Ihre Warteschlange zu kopieren.

Reichen Sie das Paket ein und wählen Sie aus, wie viele Worker parallelisiert werden sollen:

deadline bundle submit copy_s3_prefix_to_job_attachments \
    -p S3CopySource=s3://SOURCE_BUCKET_NAME/prefix-to-copy \
    -p Parallelism=20

Fügen Sie Ihrer Warteschlangen-IAM-Rolle die folgenden IAM-Berechtigungen hinzu. Die Rolle verfügt bereits über Lese- und Schreibberechtigungen für das Bucket-Präfix für Auftragsanhänge.

{
    "Effect": "Allow",
    "Sid": "DeadlineQueueReadOnly",
    "Action": [
        "deadline:GetQueue"
    ],
    "Resource": [
        "arn:aws:deadline:REGION:ACCOUNT_ID:farm/FARM_ID/queue/QUEUE_ID"
    ]
},
{
    "Effect": "Allow",
    "Sid": "SourceBucketAccess",
    "Action": [
        "s3:ListBucket",
        "s3:GetObjectTagging",
        "s3:PutObjectTagging",
        "s3:GetObject"
    ],
    "Resource": [
        "arn:aws:s3:::SOURCE_BUCKET_NAME",
        "arn:aws:s3:::SOURCE_BUCKET_NAME/*"
    ]
}

Dieser Job ruft Amazon S3-APIs auf und kopiert Daten in den Bucket mit den Anhängen von Aufträgen in Ihrer Warteschlange, was zusätzliche Kosten verursacht. Verwenden Sie die Amazon S3-Preisseite und den AWS-Preisrechner, um die Kosten abzuschätzen.