View a markdown version of this page

Penyimpanan persisten untuk armada yang dikelola layanan - AWS Awan Batas Waktu

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Penyimpanan persisten untuk armada yang dikelola layanan

AWS Penyimpanan persisten Deadline Cloud (Deadline Cloud) menyediakan volume gp3 khusus Amazon Elastic Block Store (Amazon EBS), terpisah dari volume boot root, untuk pekerja armada yang dikelola layanan (SMF). Volume ini menyimpan data di seluruh peristiwa siklus hidup pekerja. Dengan penyimpanan persisten, instalasi paket conda, cache aplikasi, dan file aset tetap tersedia saat pekerja diganti selama operasi pemeliharaan atau penskalaan rutin.

Cara kerja penyimpanan persisten

Saat Anda mengaktifkan penyimpanan persisten pada armada yang dikelola layanan, Deadline Cloud secara otomatis mengelola siklus hidup volume Amazon EBS untuk pekerja Anda:

  1. Saat pekerja diluncurkan, Deadline Cloud membuat atau menggunakan kembali volume Amazon EBS yang tersedia di Zona Ketersediaan yang sama dan melampirkan volume ke pekerja.

  2. Deadline Cloud memformat volume (jika baru) dan memasangnya di jalur yang Anda tentukan dalam konfigurasi armada.

  3. Saat pekerja dihentikan atau diganti, Deadline Cloud melepaskan volume dan membuatnya tersedia untuk digunakan kembali oleh pekerja masa depan di armada dan Zona Ketersediaan yang sama.

Karena volume digunakan kembali dalam armada dan Zona Ketersediaan yang sama, pekerja berikutnya mendapat manfaat dari data yang sebelumnya ditulis ke volume. Volume menyediakan bandwidth khusus dan IOPS tanpa perselisihan antar pekerja.

catatan

Penyimpanan persisten hanya tersedia untuk armada yang dikelola layanan. Untuk armada yang dikelola pelanggan, Anda mengelola infrastruktur penyimpanan Anda sendiri.

Manfaat penyimpanan persisten

Penyimpanan persisten memberikan manfaat berikut untuk beban kerja armada yang dikelola layanan:

  • Startup pekerjaan lebih cepat - Instalasi paket Conda, shader yang dikompilasi, dan aset yang diproses tetap ada di seluruh penggantian pekerja, menghilangkan unduhan dan instalasi berulang.

  • Kinerja khusus — Setiap pekerja menerima volume Amazon EBS sendiri dengan IOPS dan throughput khusus, menghindari perselisihan yang terjadi dengan penyimpanan jaringan bersama.

  • Manajemen otomatis - Deadline Cloud menangani pembuatan volume, lampiran, pemformatan, pemasangan, dan pembersihan tanpa memerlukan intervensi manual.

  • Integrasi runtime — Konsumen runtime yang didukung seperti lingkungan antrian conda dan cache immutable sistem file virtual (VFS) secara otomatis menggunakan penyimpanan persisten bila tersedia, tanpa memerlukan perubahan pada konfigurasi pekerjaan Anda.

  • Kontrol biaya — Konfigurasikan time-to-live (TTL) untuk membersihkan volume yang tidak digunakan secara otomatis dan mengurangi biaya penyimpanan selama periode idle.

Kapan menggunakan penyimpanan persisten

Pertimbangkan untuk mengaktifkan penyimpanan persisten untuk armada yang dikelola layanan Anda dalam skenario berikut:

  • Pekerjaan Anda menggunakan paket conda yang membutuhkan waktu pengunduhan dan pemasangan yang signifikan.

  • Beban kerja rendering Anda mengkompilasi shader atau aset proses yang dapat digunakan kembali di render berikutnya.

  • Anda menggunakan Perforce atau sistem kontrol versi lainnya di mana status sinkronisasi ruang kerja mengurangi transfer data pada pembaruan berikutnya.

  • Pekerjaan Anda menggunakan sistem file virtual (VFS) dan akan mendapat manfaat dari cache aset abadi yang persisten.

  • Anda menginginkan kinerja penyimpanan khusus tanpa overhead operasional mengelola sistem file jaringan bersama.

  • Anda menginstal perender khusus atau perangkat lunak lain pada pekerja melalui skrip konfigurasi host dan ingin instalasi tersebut di-cache ke volume persisten.

Mengkonfigurasi penyimpanan persisten untuk armada

Anda dapat mengonfigurasi penyimpanan persisten saat membuat armada baru yang dikelola layanan atau memperbarui armada yang sudah ada.

Mengkonfigurasi penyimpanan persisten (konsol)

Sebelum memulai, Anda harus memiliki peternakan yang sudah ada dengan setidaknya satu armada yang dikelola layanan, atau siap untuk membuat armada baru.

Untuk mengkonfigurasi penyimpanan persisten untuk armada
  1. Masuk ke Konsol AWS Manajemen dan buka konsol De adline Cloud.

  2. Di panel navigasi, pilih Peternakan, lalu pilih peternakan Anda.

  3. Pilih tab Ar mada, lalu pilih Buat armada, atau pilih armada yang dikelola layanan yang ada dan pilih Edit.

  4. Di bawah Kemampuan penyimpanan, untuk mode Penyimpanan, pilih Peny impanan persisten.

  5. Konfigurasikan pengaturan penyimpanan Root untuk volume boot (Ukuran, IOPS, dan Throughput).

  6. Di bawah Penyimpanan persist en, konfigurasikan pengaturan berikut:

    • Ukuran — Ukuran volume persisten. Kisaran yang valid adalah 1-65.536 GiB. Pastikan ukuran default sesuai untuk beban kerja render Anda, dan pertimbangkan untuk meningkatkan ukuran volume untuk alur kerja yang menggunakan aset atau cache yang lebih besar.

    • Mount path — Jalur absolut tempat volume dipasang pada pekerja (misalnya, /mnt/persistent untukLinux). Untuk Windows pekerja, tentukan huruf drive sepertiD:.

    • Through put — Throughput yang disediakan untuk volume. Kisaran yang valid adalah 125-2.000. MiB/s

    • Waktu idle maksimum - Berapa lama volume yang tersedia dapat diam sebelum dihapus. Pilih nilai dari dropdown (misalnya, 12 jam).

    • IOPS — IOPS yang disediakan untuk volume. Rentang yang valid adalah 3.000-80.000 IOPS. IOPS harus setidaknya 4× throughput.

  7. Selesaikan langkah-langkah konfigurasi armada yang tersisa dan pilih Buat armada atau Simpan perubahan.

Mengkonfigurasi penyimpanan persisten (AWS CLI)

Untuk mengkonfigurasi penyimpanan persisten menggunakan AWS Command Line Interface (AWS CLI), sertakan persistentVolumeConfiguration objek di serviceManagedEc2FleetConfiguration saat Anda memanggil CreateFleet atauUpdateFleet.

Ob persistentVolumeConfiguration jek menerima parameter berikut. Untuk rentang yang valid dan nilai default, lihat CreateFleet Referensi API Dead line Cloud.

Parameter Tipe Diperlukan Deskripsi
sizeGiB Bulat Tidak Ukuran volume persisten dalam GiB.
iops Bilangan Bulat Tidak IOPS yang disediakan untuk volume gp3.
throughputMiB Bilangan Bulat Tidak Throughput yang disediakan MiB/s untuk volume gp3.
mountPath Tali Ya Lokasi pemasangan pada pekerja. UntukLinux, tentukan jalur absolut (misalnya,/mnt/persistent). UntukWindows, tentukan huruf drive (misalnya,D:).
lastUsedTtlHours Bilangan Bulat Tidak Jumlah jam setelah volume terakhir digunakan sebelum pembersihan otomatis.

AWS CLI Contoh berikut membuat armada yang dikelola layanan dengan penyimpanan persisten diaktifkan:

aws deadline create-fleet \ --farm-id farm-0123456789abcdef0 \ --display-name "Rendering Fleet" \ --max-worker-count 20 \ --configuration '{ "serviceManagedEc2FleetConfiguration": { "instanceCapabilities": { "vCpuCount": {"min": 4, "max": 16}, "memoryMiB": {"min": 16384, "max": 65536}, "osFamily": "LINUX", "rootEbsVolume": {"sizeGiB": 250} }, "instanceMarketOptions": {"type": "spot"}, "persistentVolumeConfiguration": { "sizeGiB": 2048, "iops": 16000, "throughputMiB": 500, "mountPath": "/mnt/persistent", "lastUsedTtlHours": 168 } } }'

Untuk menambahkan penyimpanan persisten ke armada yang ada, sertakan persistentVolumeConfiguration objek yang sama dalam update-fleet panggilan. Untuk menonaktifkan penyimpanan persisten, hilangkan persistentVolumeConfiguration objek dari konfigurasi armada dalam UpdateFleet panggilan. Deadline Cloud secara otomatis membersihkan volume yang ada ketika mereka tidak lagi melekat pada pekerja.

Integrasi runtime

Ketika penyimpanan persisten berhasil dipasang pada pekerja, Deadline Cloud menetapkan variabel DEADLINE_PERSISTENT_MOUNT lingkungan ke jalur pemasangan yang dikonfigurasi. Variabel lingkungan ini tersedia untuk semua proses pekerjaan yang berjalan pada pekerja, termasuk skrip konfigurasi host dan tindakan template pekerjaan. Konsumen runtime berikut secara otomatis menggunakan penyimpanan persisten ketika variabel lingkungan hadir:

  • Lingkungan antrian Conda — Instalasi paket disimpan pada volume persisten, sehingga pekerja berikutnya menggunakan kembali paket yang diinstal sebelumnya alih-alih mengunduh dan menginstalnya lagi.

  • Cache immutable sistem file virtual (VFS) — VFS menyimpan cache aset yang tidak dapat diubah pada volume persisten, sehingga aset yang diunduh sebelumnya tersedia tanpa mengunduh ulang dari Amazon Simple Storage Service (Amazon S3).

Anda juga dapat mereferensikan variabel DEADLINE_PERSISTENT_MOUNT lingkungan di templat pekerjaan dan skrip Deskripsi Pekerjaan Terbuka Anda sendiri untuk menyimpan data yang harus tetap ada di seluruh peristiwa siklus hidup pekerja. Contoh berikut menunjukkan langkah yang menulis output ke penyimpanan persisten:

steps: - name: ProcessAssets script: actions: onRun: command: bash args: - "-c" - | CACHE_DIR="${DEADLINE_PERSISTENT_MOUNT}/my-app-cache" mkdir -p "$CACHE_DIR" # Your processing logic here

Mengelola volume persisten

Anda dapat melihat dan mengelola volume persisten untuk armada Anda menggunakan konsol Deadline Cloud, AWS CLI, atau API. Operasi berikut tersedia:

  • Daftar volume — Lihat semua volume persisten yang terkait dengan armada, termasuk status, ukuran, dan Zona Ketersediaannya.

  • Dapatkan detail volume — Ambil informasi terperinci tentang volume tertentu, termasuk status saat ini, status lampiran, dan konfigurasi.

  • Menghapus volume — Menghapus volume persisten yang tidak terlampir secara permanen yang tidak lagi diperlukan. Anda tidak dapat menghapus volume yang saat ini dilampirkan ke pekerja.

AWS CLI Contoh berikut mengambil detail volume persisten:

aws deadline get-volume \ --farm-id farm-0123456789abcdef0 \ --fleet-id fleet-0123456789abcdef0 \ --volume-id volume-0123456789abcdef0

Bid state ang dalam respons menunjukkan status volume saat ini. Kemungkinan nilainya adalah:

  • AVAILABLE— Volume terlepas dan siap untuk dilampirkan.

  • IN_USE— Volume saat ini dilampirkan ke pekerja.

  • PENDING_CREATION— Volume sedang dibuat.

  • PENDING_ATTACHMENT— Volume dicadangkan untuk lampiran pada pekerja.

  • PENDING_DELETION— Volume ditandai untuk dihapus.

Memperbarui konfigurasi penyimpanan persisten

Anda dapat memperbarui konfigurasi penyimpanan persisten pada armada yang ada. Tabel berikut menjelaskan bagaimana perubahan konfigurasi mempengaruhi volume persisten yang ada:

Ubah Perilaku
Meningkatkan atau mengurangi IOPS atau throughput Deadline Cloud menerapkan perubahan sebelum lampiran volume berikutnya.
Tingkatkan ukuran volume Deadline Cloud memperbesar volume sebelum lampiran berikutnya dan memperluas sistem file secara otomatis selama startup pekerja.
Kurangi ukuran volume Tidak didukung. Volume Amazon EBS tidak dapat dikurangi ukurannya.
Ubah jalur pemasangan Hanya berlaku untuk pekerja baru. Pekerja yang ada mempertahankan jalur pemasangan mereka saat ini.
Hapus penyimpanan persisten Deadline Cloud menandai volume yang ada untuk dihapus dan membersihkannya saat tidak lagi melekat pada pekerja.
penting

Perubahan konfigurasi tidak mempengaruhi pekerja yang ada. Perubahan hanya berlaku untuk pekerja baru yang diluncurkan setelah pembaruan.

Enkripsi

Volume persisten menggunakan pengaturan enkripsi yang dikonfigurasi di tingkat peternakan. Jika Anda mengonfigurasi kunci AWS Key Management Service (AWS KMS) yang dikelola pelanggan untuk farm Anda, volume persisten dienkripsi dengan kunci tersebut. Jika tidak, volume persisten dienkripsi dengan kunci milik layanan.

Pertimbangan-pertimbangan

Ingatlah pertimbangan berikut saat menggunakan penyimpanan persisten:

  • Volume persisten adalah pengoptimalan caching, bukan penyimpanan primer yang tahan lama. Gunakan volume persisten hanya untuk data yang dapat Anda buat ulang, seperti instalasi paket, shader yang dikompilasi, dan cache aset. Deadline Cloud dapat mengganti volume kapan saja, dan Anda tidak dapat mengakses volume persisten secara langsung.

  • Deadline Cloud mengonfigurasi direktori home pekerja untuk menggunakan volume persisten. Perangkat lunak yang menyimpan data di direktori home (seperti paket conda dan cache aplikasi) secara otomatis mendapat manfaat dari persistensi. Jika perangkat lunak Anda menulis ke jalur di luar direktori home, Anda harus mengonfigurasinya ulang untuk menggunakan jalur pemasangan persisten, atau file-file tersebut tidak bertahan di seluruh peristiwa siklus hidup pekerja.

  • Volume persisten tidak melekat pada beberapa pekerja secara bersamaan. Setiap volume melayani satu pekerja pada satu waktu, tetapi digunakan kembali oleh pekerja yang berbeda di seluruh peristiwa siklus hidup.

  • Volume dicakup ke armada dan Zona Ketersediaan tertentu. Volume yang dibuat dalam satu Zona Ketersediaan tidak dapat digunakan kembali oleh pekerja di Zona Ketersediaan yang berbeda.

  • Pekerja tertentu tidak dijamin menerima volume yang sama dengan yang digunakan sebelumnya. Volume apa pun yang tersedia dalam armada dan Zona Ketersediaan yang sama dapat ditetapkan.

  • Jika penyimpanan persisten tidak dapat disediakan (misalnya, karena batas kuota), pekerjaan gagal. Pekerja tidak kembali berjalan tanpa penyimpanan persisten.

  • Anda ditagih untuk penyimpanan persisten berdasarkan jumlah volume aktif dan konfigurasinya. Untuk mengontrol biaya selama periode idle, konfigurasikan TTL atau hapus konfigurasi penyimpanan persisten dari armada Anda.