View a markdown version of this page

Copier un préfixe S3 dans les pièces jointes des offres d'emploi sur Deadline Cloud - Deadline Cloud

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Copier un préfixe S3 dans les pièces jointes des offres d'emploi sur Deadline Cloud

Le job bundle copy_s3_prefix_to_job_attachments préremplit le compartiment S3 des pièces jointes aux tâches d'une file d'attente en copiant les fichiers depuis l'endroit où ils sont déjà stockés dans Amazon S3. Si vous ajoutez une ferme Deadline Cloud à un projet qui contient déjà un volume important de données, ou si vous soumettez une tâche qui dépend d'un grand nombre de nouvelles données, comme une sortie de simulation fluide, le téléchargement des pièces jointes initiales peut être lent.

Comme les pièces jointes aux tâches utilisent un stockage dédié au contenu et ne rechargent jamais les fichiers qui se trouvent déjà dans les pièces jointes aux tâches, vous pouvez utiliser d'autres outils de téléchargement tels qu'AWS Snowball ou AWS DataSync pour copier d'abord les données dans Amazon S3, puis utiliser cette tâche pour les copier dans le compartiment des pièces jointes de votre file d'attente.

Soumettez le bundle et choisissez le nombre de travailleurs à mettre en parallèle :

deadline bundle submit copy_s3_prefix_to_job_attachments \
    -p S3CopySource=s3://SOURCE_BUCKET_NAME/prefix-to-copy \
    -p Parallelism=20

Ajoutez les autorisations IAM suivantes à votre rôle IAM de file d'attente. Le rôle est déjà autorisé à lire et à écrire le préfixe du compartiment des pièces jointes à la tâche.

{
    "Effect": "Allow",
    "Sid": "DeadlineQueueReadOnly",
    "Action": [
        "deadline:GetQueue"
    ],
    "Resource": [
        "arn:aws:deadline:REGION:ACCOUNT_ID:farm/FARM_ID/queue/QUEUE_ID"
    ]
},
{
    "Effect": "Allow",
    "Sid": "SourceBucketAccess",
    "Action": [
        "s3:ListBucket",
        "s3:GetObjectTagging",
        "s3:PutObjectTagging",
        "s3:GetObject"
    ],
    "Resource": [
        "arn:aws:s3:::SOURCE_BUCKET_NAME",
        "arn:aws:s3:::SOURCE_BUCKET_NAME/*"
    ]
}

Cette tâche appelle les API Amazon S3 et copie les données dans le compartiment de pièces jointes de votre file d'attente, ce qui entraîne des coûts supplémentaires. Utilisez la page de tarification d'Amazon S3 et le calculateur de prix AWS pour estimer les coûts.