Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Almacenamiento persistente para flotas administradas por servicios
AWS El almacenamiento persistente de Deadline Cloud (Deadline Cloud) proporciona volúmenes gp3 dedicados de Amazon Elastic Block Store (Amazon EBS), separados del volumen de arranque raíz, para los trabajadores de flotas gestionadas por servicios (SMF). Estos volúmenes conservan los datos durante todos los eventos del ciclo de vida de los trabajadores. Con el almacenamiento persistente, las instalaciones de paquetes, las cachés de aplicaciones y los archivos de activos de Conda permanecen disponibles cuando se reemplaza a los trabajadores durante las operaciones rutinarias de mantenimiento o escalado.
Cómo funciona el almacenamiento persistente
Cuando habilitas el almacenamiento persistente en una flota gestionada por servicios, Deadline Cloud gestiona automáticamente el ciclo de vida de los volúmenes de Amazon EBS para tus trabajadores:
-
Cuando un trabajador se lanza, Deadline Cloud crea o reutiliza un volumen de Amazon EBS disponible en la misma zona de disponibilidad y adjunta el volumen al trabajador.
-
Deadline Cloud formatea el volumen (si es nuevo) y lo monta en la ruta especificada en la configuración de la flota.
-
Cuando el trabajador termina o es reemplazado, Deadline Cloud separa el volumen y lo pone a disposición de un futuro trabajador que se encuentre en la misma flota y zona de disponibilidad para que lo reutilice.
Como los volúmenes se reutilizan dentro de la misma flota y zona de disponibilidad, los trabajadores subsiguientes se benefician de los datos que se escribieron anteriormente en el volumen. El volumen proporciona ancho de banda e IOPS dedicados sin conflictos entre los trabajadores.
nota
El almacenamiento persistente solo está disponible para las flotas administradas por servicios. En el caso de las flotas administradas por el cliente, usted administra su propia infraestructura de almacenamiento.
Ventajas del almacenamiento persistente
El almacenamiento persistente ofrece los siguientes beneficios para las cargas de trabajo de flotas gestionadas por servicios:
-
Inicio más rápido de los trabajos: las instalaciones de paquetes, los sombreadores compilados y los activos procesados de Conda persisten mientras se reemplaza a los trabajadores, lo que elimina las descargas e instalaciones repetidas.
-
Rendimiento dedicado: cada trabajador recibe su propio volumen de Amazon EBS con IOPS y rendimiento dedicados, lo que evita las complicaciones que se producen con el almacenamiento en red compartido.
-
Administración automática: Deadline Cloud gestiona la creación, el adjunto, el formateo, el montaje y la limpieza de los volúmenes sin necesidad de intervención manual.
-
Integración del tiempo de ejecución: los usuarios compatibles con el tiempo de ejecución, como los entornos de cola tipo conda y la caché inmutable del sistema de archivos virtual (VFS), utilizan automáticamente el almacenamiento persistente cuando está disponible, sin necesidad de cambiar la configuración del trabajo.
-
Control de costos: configure un tiempo de vida (TTL) para eliminar automáticamente los volúmenes no utilizados y reducir los costos de almacenamiento durante los períodos de inactividad.
Cuándo usar el almacenamiento persistente
Considere la posibilidad de habilitar el almacenamiento persistente para su flota gestionada por servicios en los siguientes escenarios:
-
Sus trabajos utilizan paquetes conda que requieren un tiempo considerable de descarga e instalación.
-
Sus cargas de trabajo de renderizado compilan sombreadores o procesan activos que pueden reutilizarse en renderizados posteriores.
-
Usas Perforce u otros sistemas de control de versiones en los que el estado de sincronización del espacio de trabajo reduce la transferencia de datos en las actualizaciones posteriores.
-
Sus trabajos utilizan el sistema de archivos virtual (VFS) y se beneficiarían de una caché de activos persistente e inmutable.
-
Quiere un rendimiento de almacenamiento dedicado sin la sobrecarga operativa que supone administrar sistemas de archivos de red compartidos.
-
Instala renderizadores personalizados u otro tipo de software en los trabajadores mediante scripts de configuración del host y desea que esas instalaciones se almacenen en caché en el volumen persistente.
Configurar el almacenamiento persistente para una flota
Puede configurar el almacenamiento persistente al crear una nueva flota gestionada por servicios o al actualizar una flota existente.
Configurar el almacenamiento persistente (consola)
Antes de empezar, debe tener una granja existente con al menos una flota gestionada por servicios o estar preparado para crear una nueva flota.
Para configurar el almacenamiento persistente para una flota
-
Inicie sesión en la consola AWS de administración y abra la consola de Deadline Cloud
. -
En el panel de navegación, elija Granjas y, a continuación, seleccione su granja.
-
Seleccione la pestaña Flotas y, a continuación, elija Crear flota, o seleccione una flota existente gestionada por servicios y elija Editar.
-
En Capacidades de almacenamiento, para el modo de almacenamiento, elige Almacenamiento persistente.
-
Configura los ajustes de almacenamiento raíz para el volumen de arranque (tamaño, IOPS y rendimiento).
-
En Almacenamiento persistente, configura los siguientes ajustes:
-
Tamaño: el tamaño del volumen persistente. El rango válido es de 1 a 65 536 GiB. Compruebe que el tamaño predeterminado sea adecuado para sus cargas de trabajo de renderizado y considere la posibilidad de aumentar el tamaño del volumen para los flujos de trabajo que utilizan activos o cachés más grandes.
-
Ruta de montaje: la ruta absoluta en la que se monta el volumen en la máquina de trabajo (por ejemplo,
/mnt/persistentparaLinux). En el caso de Windows los trabajadores, especifique una letra de unidad comoD:. -
Rendimiento: el rendimiento aprovisionado para el volumen. El rango válido es de 125 MiB/s a 2000.
-
Tiempo máximo de inactividad: cuánto tiempo puede permanecer inactivo un volumen disponible antes de que se elimine. Selecciona un valor del menú desplegable (por ejemplo, 12 horas).
-
IOPS: las IOPS aprovisionadas para el volumen. El rango válido es de 3000 a 80 000 IOPS. Las IOPS deben tener un rendimiento de al menos 4 veces mayor.
-
-
Complete los pasos restantes de configuración de la flota y elija Crear flota o Guardar cambios.
Configurar el almacenamiento persistente (AWS CLI)
Para configurar el almacenamiento persistente mediante AWS Command Line Interface (AWS CLI), incluye el persistentVolumeConfiguration objeto serviceManagedEc2FleetConfiguration cuando llames CreateFleet oUpdateFleet.
El persistentVolumeConfiguration objeto acepta los siguientes parámetros. Para ver los rangos válidos y los valores predeterminados, consulte la referencia CreateFleet de la API de Deadline Cloud.
| Parámetro | Tipo | Obligatorio | Description (Descripción) |
|---|---|---|---|
sizeGiB |
Entero | No | El tamaño del volumen persistente en GiB. |
iops |
Entero | No | Las IOPS aprovisionadas para el volumen gp3. |
throughputMiB |
Entero | No | El rendimiento aprovisionado es MiB/s para el volumen gp3. |
mountPath |
Cadena | Sí | La ubicación del montaje en el dispositivo de trabajo. ParaLinux, especifique una ruta absoluta (por ejemplo,/mnt/persistent). ParaWindows, especifique una letra de unidad (por ejemplo,D:). |
lastUsedTtlHours |
Entero | No | El número de horas transcurridas desde la última vez que se usó un volumen antes de la limpieza automática. |
El siguiente AWS CLI ejemplo crea una flota gestionada por servicios con el almacenamiento persistente habilitado:
aws deadline create-fleet \ --farm-idfarm-0123456789abcdef0\ --display-name "Rendering Fleet" \ --max-worker-count 20 \ --configuration '{ "serviceManagedEc2FleetConfiguration": { "instanceCapabilities": { "vCpuCount": {"min": 4, "max": 16}, "memoryMiB": {"min": 16384, "max": 65536}, "osFamily": "LINUX", "rootEbsVolume": {"sizeGiB": 250} }, "instanceMarketOptions": {"type": "spot"}, "persistentVolumeConfiguration": { "sizeGiB": 2048, "iops": 16000, "throughputMiB": 500, "mountPath": "/mnt/persistent", "lastUsedTtlHours": 168 } } }'
Para agregar almacenamiento persistente a una flota existente, incluye el mismo persistentVolumeConfiguration objeto en una update-fleet llamada. Para deshabilitar el almacenamiento persistente, omite el persistentVolumeConfiguration objeto de la configuración de la flota en una UpdateFleet llamada. Deadline Cloud limpia automáticamente los volúmenes existentes cuando ya no están conectados a un trabajador.
Integración en tiempo de ejecución
Cuando el almacenamiento persistente se monta correctamente en un trabajador, Deadline Cloud establece la variable de DEADLINE_PERSISTENT_MOUNT entorno en la ruta de montaje configurada. Esta variable de entorno está disponible para todos los procesos de trabajo que se ejecutan en el trabajador, incluidos los scripts de configuración del host y las acciones de las plantillas de trabajo. Los siguientes consumidores en tiempo de ejecución utilizan automáticamente el almacenamiento persistente cuando la variable de entorno está presente:
-
Entornos de cola de espera: las instalaciones de paquetes se almacenan en un volumen persistente, por lo que los trabajadores posteriores reutilizan los paquetes instalados anteriormente en lugar de descargarlos e instalarlos de nuevo.
-
Caché inmutable del sistema de archivos virtual (VFS): el VFS almacena su caché de activos inmutables en el volumen persistente, de modo que los activos descargados anteriormente están disponibles sin necesidad de volver a descargarlos desde Amazon Simple Storage Service (Amazon S3).
También puede hacer referencia a la variable de DEADLINE_PERSISTENT_MOUNT entorno en sus propios scripts y plantillas de trabajo de Open Job Description para almacenar los datos que deberían persistir durante todo el ciclo de vida de un trabajador. En el siguiente ejemplo, se muestra un paso en el que se graba la salida en un almacenamiento persistente:
steps: - name: ProcessAssets script: actions: onRun: command: bash args: - "-c" - | CACHE_DIR="${DEADLINE_PERSISTENT_MOUNT}/my-app-cache" mkdir -p "$CACHE_DIR" # Your processing logic here
Administración de volúmenes persistentes
Puedes ver y gestionar los volúmenes persistentes de tu flota mediante la consola o API de Deadline Cloud. AWS CLI Están disponibles las siguientes operaciones:
-
Listar volúmenes: vea todos los volúmenes persistentes asociados a una flota, incluidos su estado, tamaño y zona de disponibilidad.
-
Obtenga detalles del volumen: recupere información detallada sobre un volumen específico, incluido su estado actual, el estado de los archivos adjuntos y la configuración.
-
Eliminar un volumen: elimina de forma permanente un volumen persistente sin adjuntar que ya no sea necesario. No puedes eliminar un volumen que esté actualmente conectado a un trabajador.
En el siguiente AWS CLI ejemplo, se recuperan los detalles de un volumen persistente:
aws deadline get-volume \ --farm-idfarm-0123456789abcdef0\ --fleet-idfleet-0123456789abcdef0\ --volume-idvolume-0123456789abcdef0
El state campo de la respuesta indica el estado actual del volumen. Los valores posibles son los que se indican a continuación.
-
AVAILABLE— El volumen está separado y listo para ser adjuntado. -
IN_USE— El volumen está actualmente adjunto a un trabajador. -
PENDING_CREATION— Se está creando el volumen. -
PENDING_ATTACHMENT— El volumen está reservado para adjuntarlo a un trabajador. -
PENDING_DELETION— El volumen está marcado para su eliminación.
Actualización de la configuración de almacenamiento persistente
Puede actualizar la configuración de almacenamiento persistente en una flota existente. En la siguiente tabla, se describe cómo los cambios de configuración afectan a los volúmenes persistentes existentes:
| Cambio | Comportamiento |
|---|---|
| Aumente o disminuya las IOPS o el rendimiento | Deadline Cloud aplica los cambios antes de adjuntar el siguiente volumen. |
| Aumente el tamaño del volumen | Deadline Cloud amplía el volumen antes del siguiente archivo adjunto y amplía el sistema de archivos automáticamente durante la puesta en marcha del equipo. |
| Disminuir el tamaño del volumen | No admitido. No se puede reducir el tamaño de los volúmenes de Amazon EBS. |
| Cambie la ruta de montaje | Se aplica solo a los trabajadores nuevos. Los trabajadores actuales conservan su ruta de montaje actual. |
| Elimine el almacenamiento persistente | Deadline Cloud marca los volúmenes existentes para eliminarlos y los limpia cuando ya no están conectados a un trabajador. |
importante
Los cambios de configuración no afectan a los trabajadores actuales. Los cambios se aplican solo a los nuevos trabajadores que se inicien después de la actualización.
Cifrado
Los volúmenes persistentes utilizan la configuración de cifrado configurada a nivel de granja. Si configuraste una clave administrada por el cliente AWS Key Management Service (AWS KMS) para tu granja, los volúmenes persistentes se cifran con esa clave. De lo contrario, los volúmenes persistentes se cifran con una clave propiedad del servicio.
Consideraciones
Ten en cuenta las siguientes consideraciones cuando utilices el almacenamiento persistente:
-
Los volúmenes persistentes son una optimización del almacenamiento en caché, no un almacenamiento primario duradero. Usa los volúmenes persistentes solo para los datos que puedas recrear, como las instalaciones de paquetes, los sombreadores compilados y las cachés de activos. Deadline Cloud puede reemplazar un volumen en cualquier momento y no puedes acceder directamente a los volúmenes persistentes.
-
Deadline Cloud configura el directorio principal del trabajador para usar el volumen persistente. El software que almacena datos en el directorio principal (como los paquetes de Conda y las cachés de aplicaciones) se beneficia automáticamente de la persistencia. Si el software escribe en rutas que se encuentran fuera del directorio principal, debe reconfigurarlo para que utilice la ruta de montaje persistente; de lo contrario, esos archivos no se conservarán durante los eventos del ciclo de vida del trabajador.
-
Los volúmenes persistentes no se adjuntan a varios trabajadores simultáneamente. Cada volumen atiende a un trabajador a la vez, pero diferentes trabajadores lo reutilizan durante los eventos del ciclo de vida.
-
Los volúmenes se distribuyen según una flota y una zona de disponibilidad específicas. Un volumen creado en una zona de disponibilidad no puede ser reutilizado por un trabajador de una zona de disponibilidad diferente.
-
No se garantiza que un trabajador específico reciba el mismo volumen que usó anteriormente. Se puede asignar cualquier volumen disponible en la misma flota y zona de disponibilidad.
-
Si no se puede aprovisionar el almacenamiento persistente (por ejemplo, debido a los límites de cuota), se produce un error en la tarea. Los trabajadores no pueden volver a trabajar sin un almacenamiento persistente.
-
El almacenamiento persistente se factura en función del número de volúmenes activos y de su configuración. Para controlar los costos durante los períodos de inactividad, configure un TTL o elimine la configuración de almacenamiento persistente de su flota.