Utilisation des tâches du référentiel de données pour exporter les modifications - FSxpour Lustre

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation des tâches du référentiel de données pour exporter les modifications

La tâche d'exportation du référentiel de données permet d'exporter les fichiers nouveaux ou modifiés dans votre système de fichiers. Il crée un nouvel objet dans S3 pour tout nouveau fichier du système de fichiers. Pour tout fichier modifié dans le système de fichiers ou dont les métadonnées ont été modifiées, l'objet correspondant dans S3 est remplacé par un nouvel objet contenant les nouvelles données et métadonnées. Aucune action n'est entreprise pour les fichiers qui ont été supprimés du système de fichiers.

Note

Tenez compte des points suivants lorsque vous utilisez des tâches de référentiel de données d'exportation :

  • L'utilisation de caractères génériques pour inclure ou exclure des fichiers à exporter n'est pas prise en charge.

  • Lorsque vous effectuez mv des opérations, le fichier cible après avoir été déplacé sera exporté vers S3 même s'il n'y a aucune UID modification d'autorisation ou de contenu. GID

Utilisez les procédures suivantes pour exporter les modifications de données et de métadonnées du système de fichiers vers des compartiments S3 liés à l'aide de la FSx console Amazon etCLI. Notez que vous pouvez utiliser une tâche de référentiel de données pour plusieursDRAs.

  1. Ouvrez la FSx console Amazon à l'adresse https://console.aws.amazon.com/fsx/.

  2. Dans le volet de navigation, choisissez Systèmes de fichiers, puis choisissez votre système de fichiers Lustre.

  3. Choisissez l'onglet Référentiel de données.

  4. Dans le volet Associations de référentiels de données, choisissez l'association de référentiels de données pour laquelle vous souhaitez créer la tâche d'exportation.

  5. Pour Actions, choisissez Exporter la tâche. Ce choix n'est pas disponible si le système de fichiers n'est pas lié à un référentiel de données sur S3. La boîte de dialogue Créer un référentiel de données d'exportation s'affiche.

  6. (Facultatif) Spécifiez jusqu'à 32 répertoires ou fichiers à exporter depuis votre système de FSx fichiers Amazon en fournissant les chemins d'accès à ces répertoires ou fichiers dans Chemins du système de fichiers à exporter. Les chemins que vous fournissez doivent être relatifs au point de montage du système de fichiers. Si le point de montage /mnt/fsx/path1 est /mnt/fsx et reste un répertoire ou un fichier du système de fichiers que vous souhaitez exporter, le chemin à fournir estpath1.

    Note

    Si le chemin que vous fournissez n'est pas valide, la tâche échoue.

  7. (Facultatif) Choisissez Activer sous Rapport d'achèvement pour générer un rapport d'achèvement de la tâche une fois la tâche terminée. Un rapport d'achèvement de tâche fournit des détails sur les fichiers traités par la tâche qui répondent à l'étendue indiquée dans la section Étendue du rapport. Pour spécifier l'emplacement où Amazon doit FSx envoyer le rapport, entrez un chemin relatif dans le référentiel de données S3 lié au système de fichiers pour le chemin du rapport.

  8. Sélectionnez Create (Créer).

    Une notification en haut de la page Systèmes de fichiers indique que la tâche que vous venez de créer est en cours.

Pour afficher l'état et les détails des tâches, faites défiler l'écran vers le bas jusqu'au volet Tâches du référentiel de données dans l'onglet Référentiel de données du système de fichiers. L'ordre de tri par défaut indique la tâche la plus récente en haut de la liste.

Pour afficher un résumé des tâches à partir de cette page, choisissez l'ID de tâche pour la tâche que vous venez de créer. La page Récapitulatif de la tâche apparaît.

  • Utilisez la create-data-repository-taskCLIcommande pour exporter les modifications de données et de métadonnées sur votre système de fichiers FSx for Lustre. L'APIopération correspondante est CreateDataRepositoryTask.

    $ aws fsx create-data-repository-task \
    --file-system-id fs-0123456789abcdef0 \
    --type EXPORT_TO_REPOSITORY \
    --paths path1,path2/file1 \
    --report Enabled=true

    Après avoir créé avec succès la tâche du référentiel de données, Amazon FSx renvoie la description de la tâche comme indiqué dans l'exemple suivant. JSON

    {
    "Task": {
        "TaskId": "task-123f8cd8e330c1321",
        "Type": "EXPORT_TO_REPOSITORY",
        "Lifecycle": "PENDING",
        "FileSystemId": "fs-0123456789abcdef0",
        "Paths": ["path1", "path2/file1"],
        "Report": {
            "Path":"s3://dataset-01/reports",
            "Format":"REPORT_CSV_20191124",
            "Enabled":true,
            "Scope":"FAILED_FILES_ONLY"
        },
        "CreationTime": "1545070680.120",
        "ClientRequestToken": "10192019-drt-12",
        "ResourceARN": "arn:aws:fsx:us-east-1:123456789012:task:task-123f8cd8e330c1321"
    }
}

Après avoir créé la tâche d'exportation des données vers le référentiel de données lié, vous pouvez vérifier le statut de la tâche d'exportation du référentiel de données. Pour plus d'informations sur l'affichage des tâches du référentiel de données, consultezAccès aux tâches du référentiel de données.