View a markdown version of this page

Copie un prefijo S3 a los archivos adjuntos de un trabajo en Deadline Cloud - Deadline Cloud

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Copie un prefijo S3 a los archivos adjuntos de un trabajo en Deadline Cloud

El paquete de trabajos copy_s3_prefix_to_job_attachments rellena previamente el bucket S3 de archivos adjuntos de tareas de una cola copiando los archivos de donde ya están almacenados en Amazon S3. Si va a añadir una granja de Deadline Cloud a un proyecto que ya tiene un gran volumen de datos, o si envía un trabajo que depende de muchos datos nuevos, como el resultado de una simulación fluida, la carga inicial de los archivos adjuntos del trabajo puede ser lenta.

Dado que los archivos adjuntos de trabajo utilizan almacenamiento direccionado por contenido y nunca vuelven a cargar los archivos que ya están en los archivos adjuntos de los trabajos, puede utilizar herramientas de carga alternativas como AWS Snowball o AWS DataSync para copiar primero los datos en Amazon S3 y, a continuación, utilizar este trabajo para copiarlos en el depósito de archivos adjuntos de trabajos de su cola.

Envíe el paquete y elija el número de trabajadores entre los que desea realizar el paralelismo:

deadline bundle submit copy_s3_prefix_to_job_attachments \
    -p S3CopySource=s3://SOURCE_BUCKET_NAME/prefix-to-copy \
    -p Parallelism=20

Agregue los siguientes permisos de IAM a su rol de IAM en cola. El rol ya tiene permisos para leer y escribir el prefijo del bucket de archivos adjuntos al trabajo.

{
    "Effect": "Allow",
    "Sid": "DeadlineQueueReadOnly",
    "Action": [
        "deadline:GetQueue"
    ],
    "Resource": [
        "arn:aws:deadline:REGION:ACCOUNT_ID:farm/FARM_ID/queue/QUEUE_ID"
    ]
},
{
    "Effect": "Allow",
    "Sid": "SourceBucketAccess",
    "Action": [
        "s3:ListBucket",
        "s3:GetObjectTagging",
        "s3:PutObjectTagging",
        "s3:GetObject"
    ],
    "Resource": [
        "arn:aws:s3:::SOURCE_BUCKET_NAME",
        "arn:aws:s3:::SOURCE_BUCKET_NAME/*"
    ]
}

Este trabajo llama a las API de Amazon S3 y copia los datos en el bucket de archivos adjuntos de tareas de la cola, lo que conlleva costes adicionales. Utilice la página de precios de Amazon S3 y la calculadora de precios de AWS para estimar los costes.