Stockage partagé - AWS ParallelCluster

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Stockage partagé

AWS ParallelCluster prend en charge l'utilisation d'Amazon EBSONTAP, FSxpour et FSxpour les volumes de stockage ZFS partagés Open, des systèmes de fichiers FSxde stockage partagé Amazon EFS et Lustre, ou des caches de fichiers. Nous vous recommandons de suivre les directives du pilier de fiabilitéAWS du framework bien conçu et de sauvegarder vos volumes et vos systèmes de fichiers.

Sélectionnez un système de stockage qui répond aux exigences HPC d'E/S de votre application. Vous pouvez optimiser chaque système de fichiers en fonction de votre cas d'utilisation spécifique. Pour plus d'informations, consultez la présentation des options de stockage.

Les EBSvolumes Amazon sont attachés au nœud principal et partagés avec les nœuds de calcul viaNFS. Cette option peut être rentable, mais les performances dépendent des ressources du nœud principal à mesure que les besoins de stockage évoluent. Cela peut devenir un goulot d'étranglement à mesure que de nouveaux nœuds de calcul sont ajoutés au cluster et que la demande de débit augmente.

EFSLes systèmes de fichiers Amazon évoluent en fonction de l'évolution des besoins de stockage. Vous pouvez configurer ces systèmes de fichiers pour différents cas d'utilisation. Utilisez les systèmes de EFS fichiers Amazon pour exécuter des applications parallélisées et sensibles à la latence sur votre cluster.

FSxpour Lustre, les systèmes de fichiers peuvent traiter des ensembles de données massifs avec un débit pouvant atteindre des centaines de gigaoctets par seconde, des millions et des latences inférieures à la IOPS milliseconde. FSxÀ utiliser pour les systèmes de fichiers Lustre pour les environnements informatiques à hautes performances exigeants.

Dans leSharedStorage Section, vous pouvez définir un stockage externe ou AWS ParallelCluster géré :

  • Le stockage externe fait référence à un volume ou à un système de fichiers existant que vous gérez. AWS ParallelCluster ne crée ni ne supprime ce stockage.

  • Le stockage géré fait référence à un volume ou à un système de fichiers AWS ParallelCluster créé et pouvant être supprimé.

Stockage externe

Vous pouvez configurer AWS ParallelCluster pour associer un stockage externe au cluster lors de sa création ou de sa mise à jour. De même, vous pouvez le configurer pour détacher le stockage externe du cluster lorsque celui-ci est supprimé ou mis à jour. Vos données sont préservées et vous pouvez les utiliser pour un stockage partagé permanent à long terme en dehors du cycle de vie du cluster.

Note

Les versions AWS ParallelCluster antérieures à 3.8 n'autorisent pas le montage de systèmes de fichiers gérés en externe. /home À partir de la version 3.8 AWS ParallelCluster , vous pouvez l'utiliser /home comme point de montage pour un système de fichiers géré externe. Vous pouvez monter un système de fichiers géré en externe /home en spécifiant /home comme valeur le MountDirparamètre situé sous leSharedStorage Section.

Amazon File Cache ne peut pas être utilisé comme /home répertoire système et n'est donc pas pris en charge pour le moment pour le montage/home.

Lorsque vous spécifiez un /home répertoire sous SharedStorage Section l'option SharedStorageTypede configuration, celle-ci sera remplacée, ce qui signifie que les paramètres ci-dessous SharedStorage Section seront utilisés à la place.

Lorsque vous montez un système de fichiers externe /home dans le répertoire AWS ParallelCluster , le /home contenu du nœud principal est copié sur le système de fichiers externe, sans remplacer les fichiers existants sur le stockage externe. Cela inclut le transfert de la SSH clé du cluster pour l'utilisateur par défaut, si elle est absente du système de fichiers externe. Pour plus d'informations, reportez-vous àAWS ParallelCluster considérations relatives au stockage partagé.

AWS ParallelCluster stockage géré

AWS ParallelCluster le stockage géré dépend du cycle de vie du cluster par défaut dans la configuration. Le paramètre SharedStorage DeletionPolicy de configuration est défini sur Delete par défaut.

Par défaut, un système de fichiers ou un volume AWS ParallelCluster géré et ses données sont supprimés si l'une des conditions suivantes est vraie.

  • Vous supprimez le cluster.

  • Vous modifiez la configuration du stockage partagé géréName.

  • Vous supprimez le stockage partagé géré de la configuration.

Réglez DeletionPolicy sur Retain pour conserver votre système de fichiers partagé géré ou votre volume et vos données. Nous vous recommandons de sauvegarder régulièrement vos données afin d'éviter toute perte de données. Vous pouvez l'utiliser AWS Backuppour gérer de manière centralisée les sauvegardes de toutes vos options de stockage.

Vous pouvez supprimer la dépendance au cycle de vie à l'aide des paramètres de configuration. Pour de plus amples informations, veuillez consulter Convertir le stockage AWS ParallelCluster géré en stockage externe.

Pour plus d'informations sur les quotas de stockage partagés, consultezQuotas pour le stockage partagé.

Pour plus d'informations sur le stockage partagé et le passage aux nouvelles AWS ParallelCluster versions, consultezBonnes pratiques : déplacement d'un cluster vers une nouvelle version AWS ParallelCluster mineure ou un correctif.

Vous pouvez configurer AWS ParallelCluster pour associer un stockage externe au cluster lors de sa création ou de sa mise à jour. De même, vous pouvez le configurer pour détacher le stockage externe du cluster lorsque celui-ci est supprimé ou mis à jour. Vos données sont préservées et vous pouvez les utiliser pour des solutions de stockage partagé permanent à long terme, indépendantes du cycle de vie du cluster.

Par défaut, le stockage géré dépend du cycle de vie du cluster. Vous pouvez supprimer la dépendance à l'aide des paramètres de configuration décrits dansConvertir le stockage AWS ParallelCluster géré en stockage externe.

Avec des paramètres spécifiques, vous pouvez optimiser chacune des solutions de stockage prises en charge en fonction de vos cas d'utilisation.

Pour les quotas de stockage partagés, voirQuotas pour le stockage partagé.

Pour plus d'informations sur le stockage partagé et le passage aux nouvelles AWS ParallelCluster versions, consultezBonnes pratiques : déplacement d'un cluster vers une nouvelle version AWS ParallelCluster mineure ou un correctif.

Les rubriques suivantes décrivent comment configurer le stockage partagé pour chaque service de stockage pris en AWS ParallelCluster charge.

Rubriques