Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation d'anciens types de déploiement

Cette section s'applique aux systèmes de fichiers dotés du type de déploiement Scratch 1, ainsi qu'aux systèmes de fichiers dotés Scratch 2 ou aux types de Persistent 1 déploiement n'utilisant pas d'associations de référentiels de données.

Liez votre système de fichiers à un compartiment Amazon S3

Lorsque vous créez un système de fichiers Amazon FSx for Lustre, vous pouvez le lier à un référentiel de données durable dans Amazon S3. Avant de créer votre système de fichiers, assurez-vous d'avoir déjà créé le compartiment Amazon S3 auquel vous créez le lien. Dans l'assistant de création de système de fichiers, vous définissez les propriétés de configuration du référentiel de données suivantes dans le volet optionnel Import/Export du référentiel de données.

Vous pouvez avoir un mappage 1:1 dans lequel Amazon FSx exporte les données de votre système de fichiers FSx for Lustre vers les mêmes répertoires du compartiment S3 d'où elles ont été importées. Pour obtenir un mappage 1:1, spécifiez un chemin d'exportation vers le compartiment S3 sans aucun préfixe lors de la création de votre système de fichiers.

Grâce à cette méthode, vous pouvez inclure un préfixe d'importation lorsque vous spécifiez le chemin d'importation, et cela n'a aucune incidence sur le mappage 1:1 pour les exportations.

Création de systèmes de fichiers liés à un compartiment S3

Les procédures suivantes vous guident dans le processus de création d'un système de FSx fichiers Amazon lié à un compartiment S3 à l'aide de la console de AWS gestion et de l'interface de ligne de AWS commande (AWS CLI).

Console

1. Ouvrez la FSx console Amazon à l'adresse https://console.aws.amazon.com/fsx/.

2. Dans le tableau de bord, choisissez Créer un système de fichiers.

3. Pour le type de système de fichiers, choisissez FSxLustre, puis Next.

4. Fournissez les informations requises pour les sections Détails du système de fichiers et Réseau et sécurité. Pour de plus amples informations, veuillez consulter Étape 1 : Créez votre système de fichiers FSx for Lustre.

5. Vous utilisez le panneau d'importation/exportation du référentiel de données pour configurer un référentiel de données lié dans Amazon S3. Sélectionnez Importer des données depuis et exporter des données vers S3 pour développer la section Import/Export du référentiel de données et configurer les paramètres du référentiel de données.

   

6. Choisissez comment Amazon FSx met à jour votre liste de fichiers et de répertoires lorsque vous ajoutez ou modifiez des objets dans votre compartiment S3. Lorsque vous créez votre système de fichiers, vos objets S3 existants apparaissent sous forme de listes de fichiers et de répertoires.

   • Mettre à jour la liste de mes fichiers et répertoires au fur et à mesure que des objets sont ajoutés à mon compartiment S3 : (par défaut) Amazon met FSx automatiquement à jour les listes de fichiers et de répertoires de tous les nouveaux objets ajoutés au compartiment S3 lié qui n'existent pas actuellement dans le système de FSx fichiers. Amazon FSx ne met pas à jour les listes d'objets qui ont changé dans le compartiment S3. Amazon FSx ne supprime pas les listes d'objets supprimés dans le compartiment S3.

     Note

     Le paramètre de préférences d'importation par défaut pour importer des données depuis un compartiment S3 lié à l'aide du CLI et API estNONE. Le paramètre des préférences d'importation par défaut lors de l'utilisation de la console consiste à mettre à jour Lustre à mesure que de nouveaux objets sont ajoutés au compartiment S3.

   • Mettre à jour ma liste de fichiers et de répertoires au fur et à mesure que des objets sont ajoutés ou modifiés dans mon compartiment S3 : Amazon met FSx automatiquement à jour les listes de fichiers et de répertoires de tous les nouveaux objets ajoutés au compartiment S3 et de tous les objets existants modifiés dans le compartiment S3 une fois que vous avez choisi cette option. Amazon FSx ne supprime pas les listes d'objets supprimés dans le compartiment S3.

   • Mettre à jour ma liste de fichiers et de répertoires au fur et à mesure que des objets sont ajoutés, modifiés ou supprimés de mon compartiment S3 : Amazon met FSx automatiquement à jour les listes de fichiers et de répertoires de tous les nouveaux objets ajoutés au compartiment S3, de tous les objets existants modifiés dans le compartiment S3 et de tous les objets existants supprimés dans le compartiment S3 une fois que vous avez sélectionné cette option.

   • Ne mettez pas à jour mon fichier et ne listez pas directement les objets ajoutés, modifiés ou supprimés de mon compartiment S3. Amazon FSx ne met à jour les listes de fichiers et de répertoires à partir du compartiment S3 lié que lorsque le système de fichiers est créé. FSxne met pas à jour les listes de fichiers et de répertoires pour les objets nouveaux, modifiés ou supprimés après avoir sélectionné cette option.

7. Entrez un préfixe d'importation facultatif si vous souhaitez importer uniquement certaines listes de fichiers et de répertoires contenant des données de votre compartiment S3 dans votre système de fichiers. Le préfixe d'importation définit l'endroit d'où vous souhaitez importer les données dans votre compartiment S3. Pour de plus amples informations, veuillez consulter Importez automatiquement des mises à jour depuis votre compartiment S3.

8. Choisissez l'une des options de préfixe d'exportation disponibles :

   • Un préfixe unique FSx créé par Amazon dans votre compartiment : choisissez cette option pour exporter des objets nouveaux et modifiés à l'aide d'un préfixe généré par FSx for Lustre. Le préfixe ressemble à ce qui suit :/FSxLustrefile-system-creation- timestamp. L'horodatage est au UTC format, par exemple. FSxLustre20181105T222312Z

   • Le même préfixe que celui à partir duquel vous avez importé (remplacez les objets existants par des objets mis à jour) : choisissez cette option pour remplacer les objets existants par des objets mis à jour.

   • Un préfixe que vous spécifiez : choisissez cette option pour conserver les données importées et pour exporter les objets nouveaux et modifiés à l'aide d'un préfixe que vous spécifiez. Pour obtenir un mappage 1:1 lors de l'exportation de données vers votre compartiment S3, choisissez cette option et laissez le champ de préfixe vide. FSxexportera les données vers les mêmes répertoires depuis lesquels elles ont été importées.

9. (Facultatif) Définissez les préférences de maintenance ou utilisez les paramètres par défaut du système.

10. Choisissez Next, puis passez en revue les paramètres du système de fichiers. Apportez les modifications nécessaires.

11. Choisissez Create file system (Créer un système de fichiers).

AWS CLI

L'exemple suivant crée un système de FSx fichiers Amazon lié auamzn-s3-demo-bucket, avec une préférence d'importation qui importe tous les fichiers nouveaux, modifiés ou supprimés dans le référentiel de données lié une fois le système de fichiers créé.

Note

Le paramètre de préférences d'importation par défaut pour l'importation de données depuis un compartiment S3 lié à l'aide du CLI et API estNONE, qui est différent du comportement par défaut lors de l'utilisation de la console.

Pour créer un système de fichiers FSx pour Lustre, utilisez la FSx CLI commande Amazon create-file-system, comme indiqué ci-dessous. L'APIopération correspondante est CreateFileSystem.

$ aws fsx create-file-system \
--client-request-token CRT1234 \
--file-system-type LUSTRE \
--file-system-type-version 2.10 \
--lustre-configuration
AutoImportPolicy=NEW_CHANGED_DELETED,DeploymentType=SCRATCH_1,ImportPath=s
3://amzn-s3-demo-bucket/,ExportPath=s3://amzn-s3-demo-bucket/export,
PerUnitStorageThroughput=50 \
--storage-capacity 2400 \
--subnet-ids subnet-123456 \
--tags Key=Name,Value=Lustre-TEST-1 \
--region us-east-2

Une fois le système de fichiers créé avec succès, Amazon FSx renvoie la description du système de fichiers comme indiqué dans l'exemple suivant. JSON

{
    "FileSystems": [
        {
            "OwnerId": "owner-id-string",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "FileSystemTypeVersion": "2.10",
            "Lifecycle": "CREATING",
            "StorageCapacity": 2400,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "DeploymentType": "PERSISTENT_1",
                "DataRepositoryConfiguration": {
                    "AutoImportPolicy": "NEW_CHANGED_DELETED",
                    "Lifecycle": "UPDATING",
                    "ImportPath": "s3://amzn-s3-demo-bucket/",
                    "ExportPath": "s3://amzn-s3-demo-bucket/export",
                    "ImportedFileChunkSize": 1024
                },
                "PerUnitStorageThroughput": 50
            }
        }
    ]
}

Afficher le chemin d'exportation d'un système de fichiers

Vous pouvez consulter le chemin d'exportation d'un système de fichiers à l'aide de la console FSx for Lustre AWS CLI, du, et duAPI.

Console

1. Ouvrez la FSx console Amazon à l'adresse https://console.aws.amazon.com/fsx/

2. Choisissez le nom du système de fichiers ou l'ID du système de fichiers FSx pour le système de fichiers Lustre dont vous souhaitez afficher le chemin d'exportation.

   La page de détails du système de fichiers correspondant à ce système de fichiers apparaît.

3. Choisissez l'onglet Référentiel de données.

   Le panneau d'intégration du référentiel de données apparaît et indique les chemins d'importation et d'exportation.

CLI

Pour déterminer le chemin d'exportation de votre système de fichiers, utilisez la describe-file-systems AWS CLIcommande.

aws fsx describe-file-systems

Recherchez la ExportPath propriété ci-dessous LustreConfiguration dans la réponse.

{
    "OwnerId": "111122223333",
    "CreationTime": 1563382847.014,
    "FileSystemId": "",
    "FileSystemType": "LUSTRE",
    "Lifecycle": "AVAILABLE",
    "StorageCapacity": 2400,
    "VpcId": "vpc-6296a00a",
    "SubnetIds": [
        "subnet-1111111"
    ],
    "NetworkInterfaceIds": [
        "eni-0c288d5b8cc06c82d",
        "eni-0f38b702442c6918c"
    ],
    "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
    "ResourceARN": "arn:aws:fsx:us-east-2:267731178466:file-system/fs-0123456789abcdef0",
    "Tags": [
        {
          "Key": "Name",
          "Value": "Lustre System"
        }
    ],
	"LustreConfiguration": {
    "DeploymentType": "SCRATCH_1",
    "DataRepositoryConfiguration": {
    "AutoImportPolicy": " NEW_CHANGED_DELETED",
    "Lifecycle": "AVAILABLE",
    "ImportPath": "s3://amzn-s3-demo-bucket/",
    "ExportPath": "s3://amzn-s3-demo-bucket/FSxLustre20190717T164753Z",
    "ImportedFileChunkSize": 1024
    }
  },
  "PerUnitStorageThroughput": 50,
  "WeeklyMaintenanceStartTime": "6:09:30"
}

État du cycle de vie du référentiel de données

L'état du cycle de vie du référentiel de données fournit des informations d'état sur le référentiel de données lié du système de fichiers. Un référentiel de données peut avoir les états de cycle de vie suivants.

Vous pouvez consulter l'état du cycle de vie d'un référentiel de données lié d'un système de fichiers à l'aide de la FSx console Amazon, de l'interface de ligne de AWS commande et d'Amazon FSxAPI. Dans la FSx console Amazon, vous pouvez accéder à l'état du cycle de vie du référentiel de données dans le volet Intégration du référentiel de données de l'onglet Référentiel de données du système de fichiers. La Lifecycle propriété est située dans l'DataRepositoryConfigurationobjet en réponse à une describe-file-systemsCLIcommande (l'APIaction équivalente est DescribeFileSystems).

Importez automatiquement des mises à jour depuis votre compartiment S3

Par défaut, lorsque vous créez un nouveau système de fichiers, Amazon FSx importe les métadonnées du fichier (nom, propriété, horodatage et autorisations) des objets du compartiment S3 lié lors de la création du système de fichiers. Vous pouvez configurer votre système de fichiers FSx for Lustre pour importer automatiquement les métadonnées des objets ajoutés, modifiés ou supprimés de votre compartiment S3 après la création du système de fichiers. FSxfor Lustre met à jour la liste des fichiers et des répertoires d'un objet modifié après sa création, de la même manière qu'il importe les métadonnées des fichiers lors de la création du système de fichiers. Lorsqu'Amazon FSx met à jour la liste des fichiers et des répertoires d'un objet modifié, si l'objet modifié dans le compartiment S3 ne contient plus ses métadonnées, Amazon FSx conserve les valeurs de métadonnées actuelles du fichier, plutôt que d'utiliser les autorisations par défaut.

Vous pouvez définir les préférences d'importation lorsque vous créez un nouveau système de fichiers, et vous pouvez mettre à jour les paramètres des systèmes de fichiers existants à l'aide de la console de FSx gestion AWS CLI, du et du AWS API. Lorsque vous créez votre système de fichiers, vos objets S3 existants apparaissent sous forme de listes de fichiers et de répertoires. Après avoir créé votre système de fichiers, comment souhaitez-vous le mettre à jour au fur et à mesure que le contenu de votre compartiment S3 est mis à jour ? Un système de fichiers peut avoir l'une des préférences d'importation suivantes :

Lorsque vous définissez les préférences d'importation pour mettre à jour les listes de fichiers et de répertoires de votre système de fichiers en fonction des modifications apportées au compartiment S3 lié, Amazon FSx crée une configuration de notification d'événement sur le compartiment S3 lié nomméFSx. Ne modifiez ni ne supprimez la configuration des notifications d'FSxévénements sur le compartiment S3. Cela empêche l'importation automatique de listes de fichiers et de répertoires nouvelles ou modifiées dans votre système de fichiers.

Lorsqu'Amazon FSx met à jour une liste de fichiers modifiée dans le compartiment S3 lié, il remplace le fichier local par la version mise à jour, même si le fichier est verrouillé en écriture. De même, lorsqu'Amazon FSx met à jour une liste de fichiers lorsque l'objet correspondant a été supprimé dans le compartiment S3 lié, il supprime le fichier local, même s'il est verrouillé en écriture.

Amazon FSx met tout en œuvre pour mettre à jour votre système de fichiers. Amazon FSx ne peut pas mettre à jour le système de fichiers avec des modifications dans les situations suivantes :

L'une ou l'autre de ces conditions entraîne une mauvaise configuration de l'état du cycle de vie du référentiel de données. Pour de plus amples informations, veuillez consulter État du cycle de vie du référentiel de données.

Prérequis

Les conditions suivantes sont requises pour FSx qu'Amazon importe automatiquement des fichiers nouveaux, modifiés ou supprimés depuis le compartiment S3 lié :

Types de modifications de fichiers pris en charge

Amazon FSx prend en charge l'importation des modifications suivantes apportées aux fichiers et dossiers présents dans le compartiment S3 lié :

Mettre à jour les préférences d'importation

Vous pouvez définir les préférences d'importation d'un système de fichiers lorsque vous créez un nouveau système de fichiers. Pour de plus amples informations, veuillez consulter Lier votre système de fichiers à un compartiment Amazon S3.

Vous pouvez également mettre à jour les préférences d'importation d'un système de fichiers après sa création à l'aide de la console de AWS gestion AWS CLI, du, et d'Amazon FSxAPI, comme indiqué dans la procédure suivante.

Console

1. Ouvrez la FSx console Amazon à l'adresse https://console.aws.amazon.com/fsx/.

2. Dans le tableau de bord, sélectionnez Systèmes de fichiers.

3. Sélectionnez le système de fichiers que vous souhaitez gérer pour afficher les détails du système de fichiers.

4. Choisissez le référentiel de données pour afficher les paramètres du référentiel de données. Vous pouvez modifier les préférences d'importation si l'état du cycle de vie est AVAILABLEou MISCONFIGURED. Pour de plus amples informations, veuillez consulter État du cycle de vie du référentiel de données.

5. Choisissez Actions, puis choisissez Mettre à jour les préférences d'importation pour afficher la boîte de dialogue Mettre à jour les préférences d'importation.

6. Sélectionnez le nouveau paramètre, puis choisissez Mettre à jour pour effectuer la modification.

CLI

Pour mettre à jour les préférences d'importation, utilisez la update-file-systemCLIcommande. L'APIopération correspondante est UpdateFileSystem.

Une fois que vous avez correctement mis à jour le système de fichiersAutoImportPolicy, Amazon FSx renvoie la description du système de fichiers mis à jour comme suit : JSON

{
    "FileSystems": [
        {
            "OwnerId": "111122223333",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "Lifecycle": "UPDATING",
            "StorageCapacity": 2400,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "DeploymentType": "SCRATCH_1",
                "DataRepositoryConfiguration": {
                    "AutoImportPolicy": "NEW_CHANGED_DELETED",
                    "Lifecycle": "UPDATING",
                    "ImportPath": "s3://amzn-s3-demo-bucket/",
                    "ExportPath": "s3://amzn-s3-demo-bucket/export",
                    "ImportedFileChunkSize": 1024
                }
                "PerUnitStorageThroughput": 50,
                "WeeklyMaintenanceStartTime": "2:04:30"
            }
        }
    ]
}