Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Storage persistente per flotte gestite dai servizi
AWS Lo storage persistente Deadline Cloud (Deadline Cloud) fornisce volumi gp3 dedicati di Amazon Elastic Block Store (Amazon EBS), separati dal volume di avvio principale, per i lavoratori della flotta gestita dai servizi (SMF). Questi volumi preservano i dati in tutti gli eventi del ciclo di vita dei lavoratori. Grazie allo storage persistente, le installazioni dei pacchetti conda, le cache delle applicazioni e i file di risorse rimangono disponibili quando i lavoratori vengono sostituiti durante le operazioni di manutenzione ordinaria o di scalabilità.
Come funziona lo storage persistente
Quando abiliti lo storage persistente su una flotta gestita da servizi, Deadline Cloud gestisce automaticamente il ciclo di vita dei volumi Amazon EBS per i tuoi lavoratori:
-
Quando un worker viene avviato, Deadline Cloud crea o riutilizza un volume Amazon EBS disponibile nella stessa zona di disponibilità e collega il volume al lavoratore.
-
Deadline Cloud formatta il volume (se nuovo) e lo monta nel percorso specificato nella configurazione della flotta.
-
Quando il lavoratore termina o viene sostituito, Deadline Cloud scollega il volume e lo rende disponibile per il riutilizzo da parte di un futuro lavoratore nella stessa flotta e nella stessa zona di disponibilità.
Poiché i volumi vengono riutilizzati all'interno della stessa flotta e della stessa zona di disponibilità, i lavoratori successivi traggono vantaggio dai dati precedentemente scritti nel volume. Il volume fornisce larghezza di banda e IOPS dedicati senza conflitti tra i lavoratori.
Nota
Lo storage persistente è disponibile solo per le flotte gestite dai servizi. Per le flotte gestite dai clienti, gestisci la tua infrastruttura di storage.
Vantaggi dello storage persistente
Lo storage persistente offre i seguenti vantaggi per i carichi di lavoro della flotta gestiti dai servizi:
-
Avvio più rapido del lavoro: le installazioni dei pacchetti Conda, gli shader compilati e le risorse elaborate persistono durante la sostituzione dei lavoratori, eliminando download e installazioni ripetuti.
-
Prestazioni dedicate: ogni lavoratore riceve il proprio volume Amazon EBS con IOPS e throughput dedicati, evitando i problemi che si verificano con lo storage di rete condiviso.
-
Gestione automatica: Deadline Cloud gestisce la creazione, l'allegato, la formattazione, il montaggio e la pulizia dei volumi senza richiedere interventi manuali.
-
Integrazione del runtime: gli utenti di runtime supportati, come gli ambienti di coda conda e la cache immutabile del file system virtuale (VFS), utilizzano automaticamente l'archiviazione persistente quando disponibile, senza richiedere modifiche alla configurazione del lavoro.
-
Controllo dei costi: configura un time-to-live (TTL) per ripulire automaticamente i volumi inutilizzati e ridurre i costi di storage durante i periodi di inattività.
Quando utilizzare lo storage persistente
Valuta la possibilità di abilitare lo storage persistente per la tua flotta di servizi gestiti nei seguenti scenari:
-
I tuoi lavori utilizzano pacchetti conda che richiedono tempi di download e installazione significativi.
-
I tuoi carichi di lavoro di rendering compilano shader o elaborano risorse che possono essere riutilizzate nei rendering successivi.
-
Utilizzi Perforce o altri sistemi di controllo delle versioni in cui lo stato di sincronizzazione dell'area di lavoro riduce il trasferimento dei dati negli aggiornamenti successivi.
-
I tuoi lavori utilizzano il file system virtuale (VFS) e trarrebbero vantaggio da una cache di risorse immutabile e persistente.
-
Desiderate prestazioni di storage dedicate senza il sovraccarico operativo della gestione dei file system di rete condivisi.
-
Si installano renderer personalizzati o altro software sui worker tramite script di configurazione dell'host e si desidera che tali installazioni vengano memorizzate nella cache nel volume persistente.
Configurazione dello storage persistente per una flotta
È possibile configurare lo storage persistente quando si crea una nuova flotta gestita dai servizi o si aggiorna una flotta esistente.
Configurazione dello storage persistente (console)
Prima di iniziare, è necessario disporre di una farm esistente con almeno una flotta gestita dal servizio o essere pronti a crearne una nuova.
Per configurare lo storage persistente per un parco veicoli
-
Accedi alla console di AWS gestione e apri la console Deadline Cloud
. -
Nel riquadro di navigazione, scegli Farms, quindi seleziona la tua farm.
-
Scegli la scheda Flotte, quindi scegli Crea flotta oppure seleziona una flotta esistente gestita dal servizio e scegli Modifica.
-
In Capacità di archiviazione, per la modalità Archiviazione, scegli Archiviazione persistente.
-
Configura le impostazioni di archiviazione principale per il volume di avvio (dimensioni, IOPS e velocità effettiva).
-
In Archiviazione persistente, configura le seguenti impostazioni:
-
Dimensioni: la dimensione del volume persistente. L'intervallo valido è compreso tra 1 e 65.536 GiB. Verifica che le dimensioni predefinite siano adatte ai tuoi carichi di lavoro di rendering e valuta la possibilità di aumentare le dimensioni del volume per i flussi di lavoro che utilizzano risorse o cache più grandi.
-
Percorso di montaggio: il percorso assoluto in cui il volume viene montato sul worker (ad esempio,
/mnt/persistentfor). Linux Per Windows i lavoratori, specifica una lettera di unità comeD:. -
Throughput: il throughput assegnato per il volume. L'intervallo valido è compreso tra 125 e 2.000. MiB/s
-
Tempo massimo di inattività: per quanto tempo un volume disponibile può rimanere inattivo prima di essere eliminato. Seleziona un valore dal menu a discesa (ad esempio, 12 ore).
-
IOPS: gli IOPS assegnati per il volume. L'intervallo valido è compreso tra 3.000 e 80.000 IOPS. Gli IOPS devono avere una velocità effettiva di almeno 4 volte.
-
-
Completa i passaggi rimanenti di configurazione del parco veicoli e scegli Crea flotta o Salva modifiche.
Configurazione dello storage persistente (AWS CLI)
Per configurare l'archiviazione persistente utilizzando AWS Command Line Interface (AWS CLI), includi l'persistentVolumeConfigurationoggetto nel campo serviceManagedEc2FleetConfiguration quando chiami CreateFleet oUpdateFleet.
L'persistentVolumeConfigurationoggetto accetta i seguenti parametri. Per gli intervalli validi e i valori predefiniti, consulta CreateFleet la sezione Deadline Cloud API Reference.
| Parametro | Tipo | Campo obbligatorio | Description |
|---|---|---|---|
sizeGiB |
Numero intero | No | La dimensione del volume persistente in GiB. |
iops |
Numero intero | No | Gli IOPS assegnati per il volume gp3. |
throughputMiB |
Numero intero | No | Il throughput previsto per il volume gp3. MiB/s |
mountPath |
Stringa | Sì | La posizione di montaggio sul lavoratore. PerLinux, specificate un percorso assoluto (ad esempio,/mnt/persistent). PerWindows, specificare una lettera di unità (ad esempio,D:). |
lastUsedTtlHours |
Numero intero | No | Il numero di ore dopo l'ultimo utilizzo di un volume prima della pulizia automatica. |
L' AWS CLI esempio seguente crea un parco veicoli gestito dai servizi con lo storage persistente abilitato:
aws deadline create-fleet \ --farm-idfarm-0123456789abcdef0\ --display-name "Rendering Fleet" \ --max-worker-count 20 \ --configuration '{ "serviceManagedEc2FleetConfiguration": { "instanceCapabilities": { "vCpuCount": {"min": 4, "max": 16}, "memoryMiB": {"min": 16384, "max": 65536}, "osFamily": "LINUX", "rootEbsVolume": {"sizeGiB": 250} }, "instanceMarketOptions": {"type": "spot"}, "persistentVolumeConfiguration": { "sizeGiB": 2048, "iops": 16000, "throughputMiB": 500, "mountPath": "/mnt/persistent", "lastUsedTtlHours": 168 } } }'
Per aggiungere uno storage persistente a un parco veicoli esistente, includi lo stesso persistentVolumeConfiguration oggetto in una update-fleet chiamata. Per disattivare l'archiviazione persistente, ometti l'persistentVolumeConfigurationoggetto dalla configurazione del parco veicoli in una UpdateFleet chiamata. Deadline Cloud pulisce automaticamente i volumi esistenti quando non sono più collegati a un lavoratore.
Integrazione del runtime
Quando lo storage persistente viene montato correttamente su un worker, Deadline Cloud imposta la variabile di DEADLINE_PERSISTENT_MOUNT ambiente sul percorso di montaggio configurato. Questa variabile di ambiente è disponibile per tutti i processi di lavoro in esecuzione sul worker, inclusi gli script di configurazione dell'host e le azioni del modello di lavoro. I seguenti utenti di runtime utilizzano automaticamente l'archiviazione persistente quando è presente la variabile di ambiente:
-
Ambienti di coda Conda: le installazioni dei pacchetti vengono archiviate nel volume persistente, quindi i lavoratori successivi riutilizzano i pacchetti installati in precedenza invece di scaricarli e installarli nuovamente.
-
Cache immutabile del file system virtuale (VFS): il VFS memorizza la cache delle risorse immutabili sul volume persistente, in modo che le risorse scaricate in precedenza siano disponibili senza doverle riscaricare da Amazon Simple Storage Service (Amazon S3).
Puoi anche fare riferimento alla variabile di DEADLINE_PERSISTENT_MOUNT ambiente nei tuoi modelli di lavoro e script di Open Job Description per archiviare dati che dovrebbero persistere durante gli eventi del ciclo di vita dei lavoratori. L'esempio seguente mostra una fase che scrive l'output su uno storage persistente:
steps: - name: ProcessAssets script: actions: onRun: command: bash args: - "-c" - | CACHE_DIR="${DEADLINE_PERSISTENT_MOUNT}/my-app-cache" mkdir -p "$CACHE_DIR" # Your processing logic here
Gestione di volumi persistenti
Puoi visualizzare e gestire i volumi persistenti per la tua flotta utilizzando la console o l'API Deadline Cloud. AWS CLI Sono disponibili le seguenti operazioni:
-
Elenca i volumi: visualizza tutti i volumi permanenti associati a un parco veicoli, inclusi lo stato, le dimensioni e la zona di disponibilità.
-
Ottieni dettagli sul volume: recupera informazioni dettagliate su un volume specifico, tra cui lo stato corrente, lo stato degli allegati e la configurazione.
-
Elimina un volume: elimina definitivamente un volume persistente non collegato che non è più necessario. Non è possibile eliminare un volume attualmente collegato a un lavoratore.
L' AWS CLI esempio seguente recupera i dettagli di un volume persistente:
aws deadline get-volume \ --farm-idfarm-0123456789abcdef0\ --fleet-idfleet-0123456789abcdef0\ --volume-idvolume-0123456789abcdef0
Il state campo nella risposta indica lo stato attuale del volume. I valori possibili sono:
-
AVAILABLE— Il volume è staccato e pronto per il collegamento. -
IN_USE— Il volume è attualmente collegato a un lavoratore. -
PENDING_CREATION— Il volume è in fase di creazione. -
PENDING_ATTACHMENT— Il volume è riservato per il collegamento a un lavoratore. -
PENDING_DELETION— Il volume è contrassegnato per l'eliminazione.
Aggiornamento della configurazione di archiviazione persistente
È possibile aggiornare la configurazione dello storage persistente su un parco macchine esistente. La tabella seguente descrive in che modo le modifiche alla configurazione influiscono sui volumi persistenti esistenti:
| Modifica | Comportamento |
|---|---|
| Aumentare o diminuire gli IOPS o la velocità effettiva | Deadline Cloud applica le modifiche prima del successivo allegato al volume. |
| Aumenta le dimensioni del volume | Deadline Cloud ingrandisce il volume prima dell'allegato successivo ed espande automaticamente il file system durante l'avvio del lavoratore. |
| Ridurre le dimensioni del volume | Non supportato. I volumi di Amazon EBS non possono essere ridotti. |
| Cambia il percorso di montaggio | Si applica solo ai nuovi lavoratori. I lavoratori esistenti mantengono il percorso di montaggio corrente. |
| Rimuovi lo storage persistente | Deadline Cloud contrassegna i volumi esistenti per l'eliminazione e li ripulisce quando non sono più collegati a un lavoratore. |
Importante
Le modifiche alla configurazione non influiscono sui lavoratori esistenti. Le modifiche si applicano solo ai nuovi lavoratori avviati dopo l'aggiornamento.
Encryption (Crittografia)
I volumi persistenti utilizzano le impostazioni di crittografia configurate a livello di farm. Se hai configurato una chiave gestita dal cliente AWS Key Management Service (AWS KMS) per la tua farm, i volumi persistenti vengono crittografati con tale chiave. Altrimenti, i volumi persistenti vengono crittografati con una chiave di proprietà del servizio.
Considerazioni
Quando utilizzi l'archiviazione persistente, tieni presente le seguenti considerazioni:
-
I volumi persistenti sono un'ottimizzazione della cache, non uno storage primario durevole. Utilizzate i volumi persistenti solo per i dati che potete ricreare, ad esempio installazioni di pacchetti, shader compilati e cache di risorse. Deadline Cloud può sostituire un volume in qualsiasi momento e non puoi accedere direttamente ai volumi persistenti.
-
Deadline Cloud configura la home directory del lavoratore per utilizzare il volume persistente. Il software che archivia i dati nella home directory (come i pacchetti conda e le cache delle applicazioni) trae automaticamente vantaggio dalla persistenza. Se il software scrive su percorsi esterni alla directory home, è necessario riconfigurarlo per utilizzare il percorso di montaggio persistente, altrimenti tali file non persistono durante gli eventi del ciclo di vita dei lavoratori.
-
I volumi persistenti non sono collegati a più worker contemporaneamente. Ogni volume serve un lavoratore alla volta, ma viene riutilizzato da diversi lavoratori durante gli eventi del ciclo di vita.
-
I volumi sono limitati a un parco veicoli e a una zona di disponibilità specifici. Un volume creato in una zona di disponibilità non può essere riutilizzato da un lavoratore in una zona di disponibilità diversa.
-
Non è garantito che un lavoratore specifico riceva lo stesso volume utilizzato in precedenza. È possibile assegnare qualsiasi volume disponibile nella stessa flotta e nella stessa zona di disponibilità.
-
Se non è possibile eseguire il provisioning dello storage persistente (ad esempio, a causa dei limiti delle quote), il processo ha esito negativo. I lavoratori non possono tornare a lavorare senza uno storage persistente.
-
L'archiviazione persistente viene fatturata in base al numero di volumi attivi e alla relativa configurazione. Per controllare i costi durante i periodi di inattività, configura un TTL o rimuovi la configurazione di storage persistente dalla tua flotta.