Salin awalan S3 ke lampiran pekerjaan di Deadline Cloud

Bundel pekerjaan copy_s3_prefix_to_job_attachments melakukan pra-pengisian bucket S3 lampiran tugas antrian dengan menyalin file dari tempat penyimpanan file tersebut di Amazon S3. Jika Anda menambahkan farm Deadline Cloud ke proyek yang sudah memiliki volume data yang besar, atau mengirimkan pekerjaan yang bergantung pada banyak data baru seperti keluaran simulasi fluida, unggahan lampiran pekerjaan awal bisa lambat.

Karena lampiran pekerjaan menggunakan penyimpanan beralamat konten dan tidak pernah mengunggah ulang file yang sudah ada di lampiran pekerjaan, Anda dapat menggunakan alat unggahan alternatif seperti AWS Snowball atau AWS DataSync untuk menyalin data ke Amazon S3 terlebih dahulu, lalu gunakan pekerjaan ini untuk menyalinnya ke bucket lampiran pekerjaan untuk antrian Anda.

Kirim bundel dan pilih berapa banyak pekerja yang akan disejajarkan:

deadline bundle submit copy_s3_prefix_to_job_attachments \
    -p S3CopySource=s3://SOURCE_BUCKET_NAME/prefix-to-copy \
    -p Parallelism=20

Tambahkan izin IAM berikut ke peran IAM antrian Anda. Peran sudah memiliki izin untuk membaca dan menulis awalan bucket lampiran pekerjaan.

{
    "Effect": "Allow",
    "Sid": "DeadlineQueueReadOnly",
    "Action": [
        "deadline:GetQueue"
    ],
    "Resource": [
        "arn:aws:deadline:REGION:ACCOUNT_ID:farm/FARM_ID/queue/QUEUE_ID"
    ]
},
{
    "Effect": "Allow",
    "Sid": "SourceBucketAccess",
    "Action": [
        "s3:ListBucket",
        "s3:GetObjectTagging",
        "s3:PutObjectTagging",
        "s3:GetObject"
    ],
    "Resource": [
        "arn:aws:s3:::SOURCE_BUCKET_NAME",
        "arn:aws:s3:::SOURCE_BUCKET_NAME/*"
    ]
}

Pekerjaan ini memanggil API Amazon S3 dan menyalin data ke bucket lampiran pekerjaan antrian Anda, yang menimbulkan biaya tambahan. Gunakan halaman harga Amazon S3 dan Kalkulator Harga AWS untuk memperkirakan biaya.