Copia un prefisso S3 negli allegati di lavoro su Deadline Cloud

Il job bundle copy_s3_prefix_to_job_attachments precompila il bucket S3 degli allegati di lavoro di una coda copiando i file da dove sono già archiviati in Amazon S3. Se stai aggiungendo una farm Deadline Cloud a un progetto che contiene già un grande volume di dati o stai inviando un lavoro che dipende da molti nuovi dati, ad esempio un output di simulazione fluida, il caricamento iniziale degli allegati del lavoro può essere lento.

Poiché Job Attachments utilizza lo storage indirizzato al contenuto e non carica mai nuovamente i file già presenti negli allegati del lavoro, puoi utilizzare strumenti di caricamento alternativi come AWS Snowball o AWS DataSync per copiare prima i dati in Amazon S3, quindi utilizzare questo job per copiarli nel bucket dei job attachments per la tua coda.

Invia il pacchetto e scegli quanti lavoratori eseguire il parallelismo tra:

deadline bundle submit copy_s3_prefix_to_job_attachments \
    -p S3CopySource=s3://SOURCE_BUCKET_NAME/prefix-to-copy \
    -p Parallelism=20

Aggiungi le seguenti autorizzazioni IAM al tuo ruolo IAM in coda. Il ruolo dispone già delle autorizzazioni per leggere e scrivere il prefisso del bucket job attachments.

{
    "Effect": "Allow",
    "Sid": "DeadlineQueueReadOnly",
    "Action": [
        "deadline:GetQueue"
    ],
    "Resource": [
        "arn:aws:deadline:REGION:ACCOUNT_ID:farm/FARM_ID/queue/QUEUE_ID"
    ]
},
{
    "Effect": "Allow",
    "Sid": "SourceBucketAccess",
    "Action": [
        "s3:ListBucket",
        "s3:GetObjectTagging",
        "s3:PutObjectTagging",
        "s3:GetObject"
    ],
    "Resource": [
        "arn:aws:s3:::SOURCE_BUCKET_NAME",
        "arn:aws:s3:::SOURCE_BUCKET_NAME/*"
    ]
}

Questo job chiama le API di Amazon S3 e copia i dati nel bucket degli allegati del lavoro della coda, il che comporta costi aggiuntivi. Utilizza la pagina dei prezzi di Amazon S3 e il calcolatore dei prezzi di AWS per stimare i costi. https://calculator.aws