Filtrage des données transférées parAWS DataSync - AWS DataSync
Filtrer les termes, les définitions et la syntaxeExclure des données d'un transfertInclusion de données dans un transfertExemples de filtres

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Filtrage des données transférées parAWS DataSync

AWS DataSyncvous permet d'appliquer des filtres si vous souhaitez uniquement transférer un sous-ensemble de données (tels que des fichiers, des dossiers ou des objets spécifiques).

Par exemple, si votre emplacement source inclut des fichiers temporaires qui se terminent par.tmp, vous pouvez créer un filtre d'exclusion qui empêche ces fichiers d'atteindre l'emplacement de destination. Vous pouvez également utiliser une combinaison de filtres d'exclusion et d'inclusion dans la même tâche.

Filtrer les termes, les définitions et la syntaxe

Voici quelques termes et définitions à utiliser dans le cadre du filtrage :

Filtre

Chaîne complète qui constitue un filtre particulier (par exemple :*.tmp|*.temp ou/folderA|/folderB).

Les filtres sont composés de motifs délimités par un | (tube). Un délimiteur n'est pas nécessaire lorsque vous ajoutez des motifs sur la console, car vous ajoutez chaque motif séparément.

Note

Les filtres sont sensibles à la casse. Par exemple, le filtre/folderA ne correspondra pas/FolderA.

Modèle

Modèle interne à un filtre. Par exemple,*.tmp il s'agit d'un modèle qui fait partie du*.tmp|*.temp filtre.

Dossiers

  • Tous les filtres se rapportent au chemin de l'emplacement source. Supposons, par exemple, que vous/my_source/ indiquiez le chemin source lorsque vous créez votre emplacement source et votre tâche et que vous spécifiez le filtre d'inclusion/transfer_this/. Dans ce cas,DataSync transfère uniquement le répertoire/my_source/transfer_this/ et son contenu.

  • Pour spécifier un dossier directement sous l'emplacement source, insérez une barre oblique (/) devant le nom du dossier. Dans l'exemple précédent, le modèle utilise /transfer_this et non pas transfer_this.

  • DataSyncinterprète les modèles suivants de la même manière et fait correspondre à la fois le dossier et son contenu.

    /dir

    /dir/

  • Lorsque vous transférez des données depuis ou vers un compartiment Amazon S3,DataSync considérez le/ caractère de la clé d'objet comme l'équivalent d'un dossier dans un système de fichiers.

Caractères spéciaux

Les caractères spéciaux à utiliser avec le filtrage sont les suivants.

Caractère spécial Description

* (caractère générique)

Caractère correspondant à zéro, un ou plusieurs caractères. Par exemple, /movies_folder* correspond à la fois à /movies_folder et à /movies_folder1.

| (barre verticale de séparation)

Caractère utilisé comme délimiteur entre des modèles. Il permet de spécifier plusieurs modèles, dont chacun peut correspondre au filtre. Par exemple, *.tmp|*.temp correspond aux fichiers se terminant par tmp ou par temp.

Note

Ce délimiteur n'est pas nécessaire lorsque vous ajoutez des motifs sur la console, car vous ajoutez chaque motif sur une ligne distincte.

\ (barre oblique inverse)

Caractère utilisé pour échapper aux caractères spéciaux (*, |, \) dans un nom de fichier ou d'objet.

Une double barre oblique inverse (\\) est requise lorsqu'une barre oblique inverse figure dans un nom de fichier. De la même façon, \\\\ représente deux barres obliques inverses consécutives dans un nom de fichier.

Une barre oblique inverse suivie d'une barre verticale (\|) est requise lorsqu'une barre verticale figure dans un nom de fichier.

Une barre oblique inverse (\) suivie d'un autre caractère, ou à la fin d'un motif, est ignorée.

Exclure des données d'un transfert

Les filtres d'exclusion définissent les fichiers, dossiers et objets qui sont exclus lorsque vous transférez des fichiers à partir d'un emplacement source vers un emplacement de destination. Vous pouvez configurer ces filtres lorsque vous créez, modifiez ou lancez une tâche.

Pour créer une tâche avec un filtre d'exclusion dans laDataSync console, spécifiez une liste de modèles dans la section Configuration du transfert de données, sous Modèles d'exclusion. Par exemple, pour exclure les dossiers temporaires nomméstemp ortmp, vous pouvez le spécifier*/temp dans la zone de texte Exclure les modèles, choisir Ajouter des modèles, puis spécifier*/tmp dans la deuxième zone de texte. Pour ajouter d'autres modèles dans le filtre, choisissez Add pattern (Ajouter un modèle). Lorsque vous utilisez leAWS Command Line Interface (AWS CLI), des guillemets simples (') sont obligatoires autour du filtre et un | (tube) est utilisé comme délimiteur. Pour cet exemple, vous devez spécifier'*/temp |*/tmp'.

Après avoir créé une tâche, vous pouvez modifier la configuration de la tâche pour ajouter ou supprimer des modèles dans le filtre d'exclusion. Vos modifications sont appliquées aux future exécutions de la tâche.

Lorsque vous exécutez une tâche, vous pouvez modifier les modèles de filtre d'exclusion à l'aide de l'option Start with overrides. Toutes les modifications que vous apportez sont appliquées uniquement à cette exécution de la tâche.

Vous pouvez également utiliser lesAWS CLI pour créer ou modifier un filtre d'exclusion. L'exemple suivant illustre une telle commande d'interface de ligne de commande.

aws datasync create-task 
    --source-location-arn 'arn:aws:datasync:region:account-id:location/location-id'
    --destination-location-arn 'arn:aws:datasync:region:account-id:location/location-id'
    --cloud-watch-log-group-arn 'arn:aws:logs:region:account-id:log-group:your-log-group' 
    --name your-task-name
    --excludes FilterType=SIMPLE_PATTERN,Value='*/temp|*/tmp'
Note

Si vous migrez des fichiers depuis unNetApp système, nous vous recommandons d'exclure les dossiers deNetApp sauvegarde en les spécifiant*/.snapshot comme modèle dans votre filtre d'exclusion.

Inclusion de données dans un transfert

Les filtres d'inclusion définissent les fichiers, les dossiers et les objets qui sontDataSync transférés lorsque vous exécutez une tâche. Vous pouvez configurer des filtres d'inclusion lorsque vous créez, modifiez ou lancez une tâche.

Pour créer une tâche avec un filtre d'inclusion, choisissez l'option Fichiers et dossiers spécifiques, puis spécifiez une liste de modèles à inclure sous Inclure des modèles.

DataSyncanalyse et transfère uniquement les fichiers et les dossiers qui correspondent aux filtres d'inclusion. Par exemple, pour inclure un sous-ensemble de vos dossiers sources, vous pouvez spécifier/important_folder_1 |/important_folder_2.

Après avoir créé une tâche, vous pouvez modifier la configuration de la tâche pour ajouter ou supprimer des modèles dans le filtre d'inclusion. Toutes les modifications que vous apportez sont appliquées aux future exécutions de la tâche.

Lorsque vous exécutez une tâche, vous pouvez modifier les modèles de filtre d'inclusion à l'aide de l'option Start with overrides. Toutes les modifications que vous apportez sont appliquées uniquement à cette exécution de la tâche.

Vous pouvez également utiliser lesAWS CLI pour créer ou modifier un filtre d'inclusion. L'exemple suivant illustre la commande de l'interface de ligne de commande. Prenez note des guillemets (') qui entourent le filtre et du| (tube) utilisé comme délimiteur.

aws datasync start-task-execution 
   --task-arn 'arn:aws:datasync:region:account-id:task/task-id' 
   --includes FilterType=SIMPLE_PATTERN,Value='/important_folder1|/important_folder2'
Note

Les filtres d'inclusion ne prennent en charge le caractère générique (*) qu'en tant que caractère le plus à droite d'un modèle. Par exemple,/documents* |/code* est pris en charge, mais*.txt ne l'est pas.

Exemples de filtres

Les exemples suivants montrent les filtres les plus courants que vous pouvez utiliserDataSync.

Note

Le nombre de caractères que vous pouvez utiliser dans un filtre est limité. Pour plus d'informations, veuillez consulter DataSyncquotas de tâches.

Exclusion de certains dossiers de votre emplacement source

Dans certains cas, vous pouvez exclure des dossiers de votre emplacement source pour ne pas les copier vers votre emplacement de destination. Par exemple, vous pouvez avoir deswork-in-progress dossiers temporaires. Vous pouvez également utiliser unNetApp système et vouloir exclure les dossiers de sauvegarde. Dans ces cas, vous pouvez utiliser le filtre suivant.

*/.snapshot

Pour exclure des dossiers présentant un contenu similaire (tel que/reports2021 et/reports2022)), vous pouvez utiliser un filtre d'exclusion tel que le suivant :

/reports*

Pour exclure des dossiers à n'importe quel niveau de la hiérarchie des fichiers, vous pouvez utiliser un filtre d'exclusion tel que le suivant.

*/folder-to-exclude-1|*/folder-to-exclude-2

Pour exclure des dossiers situés au niveau supérieur de l'emplacement source, vous pouvez utiliser un filtre d'exclusion tel que le suivant.

/top-level-folder-to-exclude-1|/top-level-folder-to-exclude-2

Incluez un sous-ensemble des dossiers de votre emplacement source

Dans certains cas, votre emplacement source peut représenter une part importante et vous devez transférer un sous-ensemble des dossiers sous la racine. Pour inclure des dossiers spécifiques, démarrez une exécution de tâche avec un filtre d'inclusion similaire au suivant.

/folder-to-transfer/*

Exclusion de types de fichiers spécifiques

Pour exclure du transfert certains types de fichiers, vous pouvez créer une exécution de tâche avec un filtre d'exclusion tel que *.temp.

Transférez les fichiers individuels que vous spécifiez

Pour transférer une liste de fichiers individuels, lancez l'exécution d'une tâche à l'aide d'un filtre d'inclusion tel que le suivant : "/folder/subfolder/file1.txt|/folder/subfolder/file2.txt |/folder/subfolder/file2.txt »