Lier votre système de fichiers à un compartiment Amazon S3 - FSxpour Lustre

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Lier votre système de fichiers à un compartiment Amazon S3

Vous pouvez lier votre système de fichiers Amazon FSx for Lustre aux référentiels de données d'Amazon S3. Vous pouvez créer le lien lors de la création du système de fichiers ou à tout moment après la création du système de fichiers.

Un lien entre un répertoire du système de fichiers et un compartiment ou un préfixe S3 est appelé association de référentiel de données (DRA). Vous pouvez configurer un maximum de 8 associations de référentiels de données sur un système de fichiers FSx for Lustre. Un maximum de 8 DRA demandes peuvent être mises en file d'attente, mais le système de fichiers ne peut traiter qu'une seule demande à la fois. Chacun DRA doit avoir un répertoire unique FSx pour le système de fichiers Lustre et un compartiment ou un préfixe S3 unique qui lui est associé.

Note

Les associations de référentiels de données, l'exportation automatique et la prise en charge de plusieurs référentiels de données ne sont pas disponibles sur FSx les systèmes de fichiers ou Scratch 1 les systèmes de fichiers Lustre 2.10.

Pour accéder aux objets du référentiel de données S3 sous forme de fichiers et de répertoires du système de fichiers, les métadonnées des fichiers et des répertoires doivent être chargées dans le système de fichiers. Vous pouvez charger des métadonnées à partir d'un référentiel de données lié lorsque vous créez DRA ou chargez des métadonnées pour des lots de fichiers et de répertoires auxquels vous souhaitez accéder ultérieurement à l'aide du système de fichiers FSx for Lustre à l'aide d'une tâche d'importation de référentiel de données, ou utiliser l'exportation automatique pour charger automatiquement les métadonnées lorsque des objets sont ajoutés, modifiés ou supprimés du référentiel de données.

Vous pouvez configurer un DRA pour l'importation automatique uniquement, pour l'exportation automatique uniquement, ou pour les deux. Une association de référentiel de données configurée à la fois avec une importation et une exportation automatiques propage les données dans les deux sens entre le système de fichiers et le compartiment S3 lié. Lorsque vous modifiez les données de votre référentiel de données S3, FSx for Lustre détecte les modifications puis les importe automatiquement dans votre système de fichiers. Lorsque vous créez, modifiez ou supprimez des fichiers, FSx for Lustre exporte automatiquement les modifications vers Amazon S3 de manière asynchrone une fois que votre application a fini de modifier le fichier.

Important

  • Si vous modifiez le même fichier à la fois dans le système de fichiers et dans le compartiment S3, vous devez garantir la coordination au niveau de l'application afin d'éviter les conflits. FSxfor Lustre n'empêche pas les écritures conflictuelles à plusieurs endroits.

  • Pour les fichiers marqués d'un attribut immuable, FSx for Lustre n'est pas en mesure de synchroniser les modifications entre votre système de fichiers FSx for Lustre et un compartiment S3 lié au système de fichiers. La définition d'un indicateur immuable pendant une période prolongée peut entraîner une dégradation des performances du transfert de données entre Amazon FSx et S3.

Lorsque vous créez une association de référentiel de données, vous pouvez configurer les propriétés suivantes :

  • Chemin du système de fichiers — Entrez un chemin local sur le système de fichiers qui pointe vers un répertoire (tel que/ns1/) ou un sous-répertoire (tel que/ns1/subdir/) qui sera mappé one-to-one avec le chemin du référentiel de données spécifié ci-dessous. Une barre oblique est requise au début du nom. Deux associations de référentiels de données ne peuvent pas avoir des chemins d'accès de système de fichiers qui se chevauchent. Par exemple, si un référentiel de données est associé au chemin d'accès du système de fichiers /ns1, vous ne pouvez pas lier un autre référentiel de données au chemin d'accès du système de fichiers /ns1/ns2.

    Note

    Si vous spécifiez uniquement une barre oblique (/) comme chemin d'accès du système de fichiers, vous ne pouvez lier qu'un seul référentiel de données au système de fichiers. Vous pouvez uniquement spécifier « / » comme chemin d'accès du système de fichiers pour le premier référentiel de données associé à un système de fichiers.

  • Chemin du référentiel de données — Entrez un chemin dans le référentiel de données S3. Le chemin d'accès peut être un compartiment S3 ou un préfixe au format s3://bucket-name/prefix/. Cette propriété indique l'endroit depuis lequel les fichiers seront importés ou exportés dans le référentiel de données S3. FSxfor Lustre ajoutera un «/» final au chemin de votre référentiel de données si vous n'en fournissez pas un. Par exemple, si vous fournissez un chemin de référentiel de données des3://amzn-s3-demo-bucket/my-prefix, FSx for Lustre l'interprétera commes3://amzn-s3-demo-bucket/my-prefix/.

    Deux associations de référentiels de données ne peuvent pas avoir de chemins de référentiel de données qui se chevauchent. Par exemple, si un référentiel de données avec chemin s3://amzn-s3-demo-bucket/my-prefix/ est lié au système de fichiers, vous ne pouvez pas créer une autre association de référentiel de données avec le chemin du référentiel de donnéess3://amzn-s3-demo-bucket/my-prefix/my-sub-prefix.

  • Importer des métadonnées depuis le référentiel : vous pouvez sélectionner cette option pour importer les métadonnées de l'ensemble du référentiel de données immédiatement après avoir créé l'association du référentiel de données. Vous pouvez également exécuter une tâche d'importation de référentiel de données pour charger la totalité ou un sous-ensemble des métadonnées du référentiel de données lié dans le système de fichiers à tout moment après la création de l'association de référentiel de données.

  • Paramètres d'importation : choisissez une politique d'importation qui spécifie le type d'objets mis à jour (toute combinaison de nouveaux, de modifiés et de supprimés) qui seront automatiquement importés du compartiment S3 lié vers votre système de fichiers. L'importation automatique (nouvelle, modifiée, supprimée) est activée par défaut lorsque vous ajoutez un référentiel de données depuis la console, mais elle est désactivée par défaut lorsque vous utilisez le AWS CLI ou Amazon FSxAPI.

  • Paramètres d'exportation : choisissez une politique d'exportation qui spécifie le type d'objets mis à jour (toute combinaison de nouveaux, de modifiés et de supprimés) qui seront automatiquement exportés vers le compartiment S3. L'exportation automatique (nouvelle, modifiée, supprimée) est activée par défaut lorsque vous ajoutez un référentiel de données depuis la console, mais elle est désactivée par défaut lorsque vous utilisez le AWS CLI ou Amazon FSxAPI.

Les paramètres du chemin du système de fichiers et du chemin du référentiel de données fournissent un mappage 1:1 entre les chemins dans Amazon FSx et les clés d'objet dans S3.

Rubriques