Copie um prefixo S3 para anexos de trabalho no Deadline Cloud

O pacote de tarefas copy_s3_prefix_to_job_attachments preenche previamente o bucket S3 de anexos de tarefas de uma fila copiando arquivos de onde eles já estão armazenados no Amazon S3. Se você estiver adicionando um farm do Deadline Cloud a um projeto que já tem um grande volume de dados ou está enviando um trabalho que depende de muitos dados novos, como uma saída de simulação fluida, o upload inicial dos anexos do trabalho pode ser lento.

Como os anexos de tarefas usam armazenamento endereçado ao conteúdo e nunca recarregam arquivos que já estão em anexos de tarefas, você pode usar ferramentas alternativas de upload, como o AWS Snowball ou a AWS, DataSync para copiar primeiro os dados para o Amazon S3 e depois usar essa tarefa para copiá-los no bucket de anexos de tarefas da sua fila.

Envie o pacote e escolha quantos trabalhadores deseja paralelizar:

deadline bundle submit copy_s3_prefix_to_job_attachments \
    -p S3CopySource=s3://SOURCE_BUCKET_NAME/prefix-to-copy \
    -p Parallelism=20

Adicione as seguintes permissões de IAM à sua função de IAM de fila. A função já tem permissões para ler e gravar o prefixo do bucket de anexos do trabalho.

{
    "Effect": "Allow",
    "Sid": "DeadlineQueueReadOnly",
    "Action": [
        "deadline:GetQueue"
    ],
    "Resource": [
        "arn:aws:deadline:REGION:ACCOUNT_ID:farm/FARM_ID/queue/QUEUE_ID"
    ]
},
{
    "Effect": "Allow",
    "Sid": "SourceBucketAccess",
    "Action": [
        "s3:ListBucket",
        "s3:GetObjectTagging",
        "s3:PutObjectTagging",
        "s3:GetObject"
    ],
    "Resource": [
        "arn:aws:s3:::SOURCE_BUCKET_NAME",
        "arn:aws:s3:::SOURCE_BUCKET_NAME/*"
    ]
}

Esse trabalho chama as APIs do Amazon S3 e copia dados para o bucket de anexos de tarefas da sua fila, o que gera custos adicionais. Use a página de preços do Amazon S3 e a Calculadora de preços da AWS para estimar os custos.