Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Stockage permanent pour les flottes gérées par les services
AWS Le stockage persistant Deadline Cloud (Deadline Cloud) fournit des volumes gp3 Amazon Elastic Block Store (Amazon EBS) dédiés, distincts du volume de démarrage racine, pour les travailleurs de la flotte gérée par les services (SMF). Ces volumes préservent les données tout au long des événements du cycle de vie des travailleurs. Grâce au stockage persistant, les installations de packages Conda, les caches d'applications et les fichiers d'actifs restent disponibles lorsque les opérateurs sont remplacés lors d'opérations de maintenance de routine ou de dimensionnement.
Comment fonctionne le stockage persistant
Lorsque vous activez le stockage permanent sur une flotte gérée par des services, Deadline Cloud gère automatiquement le cycle de vie des volumes Amazon EBS pour vos employés :
-
Lorsqu'un travailleur se lance, Deadline Cloud crée ou réutilise un volume Amazon EBS disponible dans la même zone de disponibilité et associe le volume au travailleur.
-
Deadline Cloud formate le volume (s'il est nouveau) et le monte selon le chemin que vous avez spécifié dans la configuration de la flotte.
-
Lorsque le travailleur cesse de fonctionner ou est remplacé, Deadline Cloud détache le volume et le rend disponible pour réutilisation par un futur collaborateur du même parc et de la même zone de disponibilité.
Comme les volumes sont réutilisés au sein de la même flotte et de la même zone de disponibilité, les collaborateurs suivants bénéficient des données précédemment écrites sur le volume. Le volume fournit une bande passante dédiée et des IOPS sans conflit entre les opérateurs.
Note
Le stockage permanent n'est disponible que pour les flottes gérées par des services. Pour les flottes gérées par les clients, vous gérez votre propre infrastructure de stockage.
Avantages du stockage persistant
Le stockage persistant offre les avantages suivants pour les charges de travail de parc gérées par les services :
-
Démarrage plus rapide des tâches : les installations de packages Conda, les shaders compilés et les actifs traités persistent pendant le remplacement des collaborateurs, éliminant ainsi les téléchargements et les installations répétés.
-
Performances dédiées : chaque collaborateur reçoit son propre volume Amazon EBS avec des IOPS et un débit dédiés, évitant ainsi les conflits liés au stockage réseau partagé.
-
Gestion automatique : Deadline Cloud gère la création, les pièces jointes, le formatage, le montage et le nettoyage des volumes sans aucune intervention manuelle.
-
Intégration de l'environnement d'exécution — Les utilisateurs d'exécution pris en charge, tels que les environnements de file d'attente conda et le cache immuable du système de fichiers virtuel (VFS), utilisent automatiquement le stockage persistant lorsqu'il est disponible, sans qu'il soit nécessaire de modifier la configuration de votre tâche.
-
Contrôle des coûts : configurez une durée de vie (TTL) pour nettoyer automatiquement les volumes inutilisés et réduire les coûts de stockage pendant les périodes d'inactivité.
Quand utiliser le stockage persistant
Envisagez d'activer le stockage permanent pour votre parc géré par les services dans les scénarios suivants :
-
Vos jobs utilisent des packages conda qui nécessitent un temps de téléchargement et d'installation important.
-
Vos charges de rendu compilent des shaders ou des actifs de traitement qui peuvent être réutilisés lors des rendus suivants.
-
Vous utilisez Perforce ou d'autres systèmes de contrôle de version dans lesquels l'état de synchronisation de l'espace de travail réduit le transfert de données lors des mises à jour suivantes.
-
Vos tâches utilisent le système de fichiers virtuel (VFS) et bénéficieraient d'un cache d'actifs permanent et immuable.
-
Vous voulez des performances de stockage dédiées sans les frais opérationnels liés à la gestion de systèmes de fichiers réseau partagés.
-
Vous installez des moteurs de rendu personnalisés ou d'autres logiciels sur les ordinateurs de travail via des scripts de configuration hôte et vous souhaitez que ces installations soient mises en cache sur le volume persistant.
Configuration du stockage permanent pour une flotte
Vous pouvez configurer le stockage permanent lorsque vous créez un nouveau parc géré par des services ou que vous mettez à jour un parc existant.
Configuration du stockage persistant (console)
Avant de commencer, vous devez disposer d'une ferme existante avec au moins une flotte gérée par les services, ou être prêt à créer une nouvelle flotte.
Pour configurer le stockage permanent pour une flotte
-
Connectez-vous à la console AWS de gestion et ouvrez la console Deadline Cloud
. -
Dans le volet de navigation, choisissez Fermes, puis sélectionnez votre ferme.
-
Cliquez sur l'onglet Flottes, puis choisissez Créer une flotte, ou sélectionnez une flotte gérée par des services existante et choisissez Modifier.
-
Sous Fonctionnalités de stockage, pour Mode de stockage, choisissez Stockage persistant.
-
Configurez les paramètres de stockage racine pour le volume de démarrage (taille, IOPS et débit).
-
Sous Stockage persistant, configurez les paramètres suivants :
-
Taille : taille du volume persistant. La plage valide est comprise entre 1 et 65 536 GiB. Vérifiez que la taille par défaut convient à vos charges de travail de rendu et envisagez d'augmenter la taille du volume pour les flux de travail qui utilisent des ressources ou des caches plus importants.
-
Chemin de montage : chemin absolu où le volume est monté sur le dispositif de travail (par exemple,
/mnt/persistentpourLinux). Pour Windows les employés, spécifiez une lettre de lecteur telle queD:. -
Débit : débit provisionné pour le volume. La plage valide est comprise entre 125 et 2 000 MiB/s.
-
Durée d'inactivité maximale : durée pendant laquelle un volume disponible peut rester inactif avant d'être supprimé. Sélectionnez une valeur dans la liste déroulante (par exemple, 12 heures).
-
IOPS : IOPS provisionnées pour le volume. La plage valide est comprise entre 3 000 et 80 000 IOPS. Le débit IOPS doit être au moins multiplié par 4.
-
-
Effectuez les étapes restantes de configuration de la flotte et choisissez Créer une flotte ou Enregistrer les modifications.
Configuration du stockage persistant (AWS CLI)
Pour configurer le stockage persistant à l'aide du AWS Command Line Interface (AWS CLI), incluez l'persistentVolumeConfigurationobjet dans le serviceManagedEc2FleetConfiguration champ Lorsque vous appelez CreateFleet ouUpdateFleet.
L'persistentVolumeConfigurationobjet accepte les paramètres suivants. Pour connaître les plages valides et les valeurs par défaut, consultez CreateFleet la référence de l'API Deadline Cloud.
| Paramètre | Type | Obligatoire | Description |
|---|---|---|---|
sizeGiB |
Entier | Non | Taille du volume persistant en GiB. |
iops |
Entier | Non | Les IOPS provisionnées pour le volume gp3. |
throughputMiB |
Entier | Non | Le débit provisionné MiB/s pour le volume gp3. |
mountPath |
Chaîne | Oui | L'emplacement de montage sur le travailleur. PourLinux, spécifiez un chemin absolu (par exemple,/mnt/persistent). PourWindows, spécifiez une lettre de lecteur (par exemple,D:). |
lastUsedTtlHours |
Entier | Non | Nombre d'heures après la dernière utilisation d'un volume avant le nettoyage automatique. |
L' AWS CLI exemple suivant crée une flotte gérée par des services avec le stockage persistant activé :
aws deadline create-fleet \ --farm-idfarm-0123456789abcdef0\ --display-name "Rendering Fleet" \ --max-worker-count 20 \ --configuration '{ "serviceManagedEc2FleetConfiguration": { "instanceCapabilities": { "vCpuCount": {"min": 4, "max": 16}, "memoryMiB": {"min": 16384, "max": 65536}, "osFamily": "LINUX", "rootEbsVolume": {"sizeGiB": 250} }, "instanceMarketOptions": {"type": "spot"}, "persistentVolumeConfiguration": { "sizeGiB": 2048, "iops": 16000, "throughputMiB": 500, "mountPath": "/mnt/persistent", "lastUsedTtlHours": 168 } } }'
Pour ajouter du stockage permanent à une flotte existante, incluez le même persistentVolumeConfiguration objet dans un update-fleet appel. Pour désactiver le stockage persistant, omettez l'persistentVolumeConfigurationobjet de la configuration de la flotte lors d'un UpdateFleet appel. Deadline Cloud nettoie automatiquement les volumes existants lorsqu'ils ne sont plus rattachés à un collaborateur.
Intégration à l'exécution
Lorsque le stockage persistant est correctement monté sur un serveur de travail, Deadline Cloud définit la variable d'DEADLINE_PERSISTENT_MOUNTenvironnement sur le chemin de montage configuré. Cette variable d'environnement est disponible pour tous les processus de travail exécutés sur le worker, y compris les scripts de configuration de l'hôte et les actions des modèles de tâche. Les utilisateurs d'exécution suivants utilisent automatiquement le stockage persistant lorsque la variable d'environnement est présente :
-
Environnements de file d'attente Conda : les installations de packages sont stockées sur le volume persistant, de sorte que les utilisateurs suivants réutilisent les packages précédemment installés au lieu de les télécharger et de les réinstaller.
-
Cache immuable du système de fichiers virtuel (VFS) : le VFS stocke son cache de ressources immuable sur le volume persistant, de sorte que les ressources précédemment téléchargées sont disponibles sans retéléchargement depuis Amazon Simple Storage Service (Amazon S3).
Vous pouvez également faire référence à la variable d'DEADLINE_PERSISTENT_MOUNTenvironnement dans vos propres modèles de tâches et scripts Open Job Description pour stocker les données qui devraient persister tout au long des événements du cycle de vie des collaborateurs. L'exemple suivant illustre une étape qui écrit la sortie dans le stockage persistant :
steps: - name: ProcessAssets script: actions: onRun: command: bash args: - "-c" - | CACHE_DIR="${DEADLINE_PERSISTENT_MOUNT}/my-app-cache" mkdir -p "$CACHE_DIR" # Your processing logic here
Gestion des volumes persistants
Vous pouvez consulter et gérer les volumes persistants de votre flotte à l'aide de la console ou de l'API Deadline Cloud. AWS CLI Les opérations suivantes sont disponibles :
-
Répertorier les volumes : affichez tous les volumes persistants associés à une flotte, y compris leur état, leur taille et leur zone de disponibilité.
-
Obtenir les détails du volume : récupérez des informations détaillées sur un volume spécifique, notamment son état actuel, l'état des pièces jointes et sa configuration.
-
Supprimer un volume : supprimez définitivement un volume persistant non attaché qui n'est plus nécessaire. Vous ne pouvez pas supprimer un volume qui est actuellement associé à un travailleur.
L' AWS CLI exemple suivant extrait les détails d'un volume persistant :
aws deadline get-volume \ --farm-idfarm-0123456789abcdef0\ --fleet-idfleet-0123456789abcdef0\ --volume-idvolume-0123456789abcdef0
Le state champ de la réponse indique l'état actuel du volume. Les valeurs possibles sont :
-
AVAILABLE— Le volume est détaché et prêt à être fixé. -
IN_USE— Le volume est actuellement associé à un travailleur. -
PENDING_CREATION— Le volume est en cours de création. -
PENDING_ATTACHMENT— Le volume est réservé pour être attaché à un travailleur. -
PENDING_DELETION— Le volume est marqué pour suppression.
Mettre à jour la configuration du stockage persistant
Vous pouvez mettre à jour la configuration du stockage persistant sur un parc existant. Le tableau suivant décrit la manière dont les modifications de configuration affectent les volumes persistants existants :
| Modifier | Comportement |
|---|---|
| Augmenter ou diminuer les IOPS ou le débit | Deadline Cloud applique les modifications avant la prochaine pièce jointe au volume. |
| Augmenter la taille du volume | Deadline Cloud agrandit le volume avant la prochaine pièce jointe et étend automatiquement le système de fichiers lors du démarrage du programme de travail. |
| Diminuer la taille du volume | Non pris en charge. La taille des volumes Amazon EBS ne peut pas être réduite. |
| Modifier la trajectoire de montage | S'applique uniquement aux nouveaux travailleurs. Les ouvriers existants conservent leur trajectoire de montage actuelle. |
| Supprimer le stockage persistant | Deadline Cloud marque les volumes existants pour suppression et les nettoie lorsqu'ils ne sont plus associés à un collaborateur. |
Important
Les modifications de configuration n'affectent pas les travailleurs existants. Les modifications s'appliquent uniquement aux nouveaux travailleurs lancés après la mise à jour.
Chiffrement
Les volumes persistants utilisent les paramètres de chiffrement configurés au niveau de la batterie de serveurs. Si vous avez configuré une clé gérée par le client AWS Key Management Service (AWS KMS) pour votre parc de serveurs, les volumes persistants sont chiffrés avec cette clé. Dans le cas contraire, les volumes persistants sont chiffrés à l'aide d'une clé appartenant au service.
Considérations
Lorsque vous utilisez le stockage persistant, tenez compte des points suivants :
-
Les volumes persistants sont une optimisation de la mise en cache, et non un stockage principal durable. Utilisez des volumes persistants uniquement pour les données que vous pouvez recréer, telles que les installations de packages, les shaders compilés et les caches de ressources. Deadline Cloud peut remplacer un volume à tout moment, mais vous ne pouvez pas accéder directement aux volumes persistants.
-
Deadline Cloud configure le répertoire personnel du travailleur pour utiliser le volume persistant. Les logiciels qui stockent des données dans le répertoire personnel (tels que les packages conda et les caches d'applications) bénéficient automatiquement de la persistance. Si votre logiciel écrit sur des chemins situés en dehors du répertoire de base, vous devez le reconfigurer pour utiliser le chemin de montage permanent, sinon ces fichiers ne persisteront pas pendant les événements du cycle de vie des travailleurs.
-
Les volumes persistants ne sont pas associés à plusieurs travailleurs simultanément. Chaque volume est destiné à un collaborateur à la fois, mais il est réutilisé par différents collaborateurs au fil des événements du cycle de vie.
-
Les volumes sont limités à une flotte et à une zone de disponibilité spécifiques. Un volume créé dans une zone de disponibilité ne peut pas être réutilisé par un travailleur dans une autre zone de disponibilité.
-
Il n'est pas garanti qu'un travailleur en particulier reçoive le même volume qu'il utilisait auparavant. Tout volume disponible dans la même flotte et la même zone de disponibilité peut être attribué.
-
Si le stockage persistant ne peut pas être provisionné (par exemple, en raison de limites de quotas), la tâche échoue. Les employés ne recommencent pas à fonctionner sans stockage persistant.
-
Le stockage persistant vous est facturé en fonction du nombre de volumes actifs et de leur configuration. Pour contrôler les coûts pendant les périodes d'inactivité, configurez un TTL ou supprimez la configuration de stockage permanent de votre parc.