Métadonnées copiées par AWS DataSync - AWS DataSync
Métadonnées copiées entre des systèmes dotés de structures de métadonnées similairesMétadonnées copiées entre des systèmes dotés de structures de métadonnées différentesComprendre quand et comment DataSync s'appliquent les métadonnées POSIX par défaut

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Métadonnées copiées par AWS DataSync

La façon AWS DataSync dont les métadonnées de vos fichiers ou objets sont gérées lors d'un transfert dépend des systèmes de stockage avec lesquels vous travaillez.

Note

DataSyncne copie pas les paramètres au niveau du système. Par exemple, lorsque vous copiez des objets, DataSync ne copie pas les paramètres de chiffrement de votre système de stockage. Si vous effectuez une copie à partir d'un partage SMB, les autorisations que vous avez configurées au niveau du système de fichiers DataSync ne sont pas copiées.

Métadonnées copiées entre des systèmes dotés de structures de métadonnées similaires

DataSyncconserve les métadonnées entre les systèmes de stockage ayant une structure de métadonnées similaire.

Transferts NFS

Le tableau suivant décrit les métadonnées que DataSync vous pouvez copier entre des emplacements qui utilisent le système de fichiers réseau (NFS).

Lors de la copie entre ces emplacements DataSyncpeut copier

  • NFS

  • Amazon EFS

  • Amazon FSx for Lustre

  • Amazon FSx for OpenZFS

  • Amazon FSx pour NetApp ONTAP (à l'aide de NFS)

  • Horodatages de modification de fichiers et de dossiers

  • Horodatage des accès aux fichiers et aux dossiers (ne DataSync peut effectuer cette action que dans la mesure du possible)

  • ID utilisateur (UID) et ID de groupe (GID)

  • Autorisations POSIX

Virements vers les PME

Le tableau suivant décrit les métadonnées que DataSync vous pouvez copier entre des emplacements qui utilisent le serveur Message Block (SMB).

Lors de la copie entre ces emplacements DataSyncpeut copier

  • SMB

  • Amazon FSx for Windows File Server

  • FSx pour ONTAP (à l'aide de SMB)

  • Horodatages des fichiers : heure d'accès, heure de modification et heure de création

  • Identifiant de sécurité (SID) du propriétaire du fichier

  • Attributs de fichier standard : lecture seule (R), archive (A), système (S), masqué (H), compressé (C), contenu non indexé (I), crypté (E), temporaire (T), hors ligne (O) et fragmenté (P)

    DataSynctente de copier l'archive, les attributs compressés et les attributs fragmentés. Si ces attributs ne sont pas appliqués à la destination, ils sont ignorés lors de la vérification des tâches.

    Remarque : FSx pour ONTAP ne prend pas en charge l'indexation. Lors du transfert vers ce type de système de fichiers, DataSync ignore l'attribut non indexé par le contenu (I).

  • Listes d'accès discrétionnaire NTFS (DACL), qui déterminent s'il faut accorder l'accès à un objet.

  • Listes de contrôle d'accès au système NTFS (SACL), qui sont utilisées par les administrateurs pour journaliser les tentatives d'accès à un objet sécurisé.

    Remarque : Les SACL ne sont pas copiés si vous utilisez la version 1.0 de SMB.

    La copie des DACL et des SACL ne peut être que dans la mesure du possible. Dès lors, l'utilisateur Windows DataSync peut accéder à votre position via SMB. Pour plus d'informations, consultez la section Création d'un emplacement pour SMB, FSx for Windows File Server ou FSx pour ONTAP (selon le type d'emplacement de votre transfert).

Transferts HDFS

Le tableau suivant décrit les métadonnées qui DataSync peuvent être copiées lorsqu'un transfert concerne un emplacement du système de fichiers distribué Hadoop (HDFS).

Lors de la copie à partir de cet emplacement Vers l'un de ces sites DataSyncpeut copier

  • HDFS

  • Amazon EFS

  • FSx for Lustre

  • FSx for ZFS

  • FSx pour ONTAP (à l'aide de NFS)

  • Horodatages de modification de fichiers et de dossiers

  • Horodatage des accès aux fichiers et aux dossiers (ne DataSync peut effectuer cette action que dans la mesure du possible)

  • Autorisations POSIX

HDFS utilise des chaînes pour stocker la propriété des utilisateurs et des groupes de fichiers et de dossiers plutôt que des identifiants numériques (tels que les UID et les GID). Les valeurs par défaut pour les UID et les GID sont appliquées sur le système de fichiers de destination. Pour plus d'informations sur les valeurs par défaut, consultez la sectionComprendre quand et comment DataSync s'appliquent les métadonnées POSIX par défaut.

Transferts vers Amazon S3

Les tableaux suivants décrivent les métadonnées que DataSync vous pouvez copier lorsqu'un transfert implique un emplacement Amazon S3.

Vers Amazon S3

Lors de la copie depuis l'un de ces emplacements À cet endroit DataSyncpeut copier

  • NFS

  • Amazon EFS

  • FSx for Lustre

  • FSx for ZFS

  • FSx pour ONTAP (à l'aide de NFS)

  • Amazon S3

Ce qui suit en tant que métadonnées utilisateur Amazon S3 :

  • Horodatages de modification de fichiers et de dossiers

  • Horodatage des accès aux fichiers et aux dossiers (ne DataSync peut effectuer cette action que dans la mesure du possible)

  • ID utilisateur et ID de groupe

  • Autorisations POSIX

Les métadonnées de fichier stockées dans les métadonnées utilisateur d'Amazon S3 sont interopérables avec les partages NFS sur les passerelles de fichiers utilisant. AWS Storage Gateway Une passerelle de fichiers permet un accès à faible latence depuis les réseaux locaux aux données qui ont été copiées sur Amazon S3 par. DataSync Ces métadonnées sont également interopérables avec FSx for Lustre.

Les métadonnées du fichier sont restaurées lorsque DataSync recopie vers un serveur NFS des objets contenant ces métadonnées. La restauration des métadonnées nécessite l'octroi d'autorisations élevées au serveur NFS. Pour plus d'informations, veuillez consulter Configuration des AWS DataSync transferts depuis un serveur de fichiers NFS.

Entre HDFS

Lors de la copie entre ces emplacements DataSyncpeut copier

  • Système de fichiers distribué Hadoop (HDFS)

  • Amazon S3

Ce qui suit en tant que métadonnées utilisateur Amazon S3 :

  • Horodatages de modification de fichiers et de dossiers

  • Horodatage des accès aux fichiers et aux dossiers (ne DataSync peut effectuer cette action que dans la mesure du possible)

  • ID utilisateur et ID de groupe

  • Autorisations POSIX

HDFS utilise des chaînes pour stocker la propriété des utilisateurs et des groupes de fichiers et de dossiers, plutôt que des identifiants numériques tels que des UID et des GID.

Entre le stockage d'objets et Amazon S3

Lors de la copie entre ces emplacements DataSyncpeut copier

  • Stockage d'objets

  • Amazon S3

  • Métadonnées d'objet définies par l'utilisateur

  • Balises d'objet

  • Les métadonnées d'objet définies par le système suivantes :

    • Content-Disposition

    • Encodage-Contenu

    • Content-Language

    • Content-Type

    Remarque : DataSync copie les métadonnées du système pour tous les objets lors d'un transfert initial. Si vous configurez votre tâche de manière à ne transférer que les données qui ont été modifiées, vous DataSync ne copierez pas les métadonnées système lors des transferts suivants, sauf si le contenu d'un objet ou les métadonnées utilisateur ont également été modifiés.

DataSyncne copie pas les autres métadonnées de l'objet, telles que les listes de contrôle d'accès aux objets (ACL) ou les versions antérieures des objets.

Important : si vous transférez des objets depuis un bucket Google Cloud Storage, la copie de balises d'objets peut entraîner l'échec de votre DataSync tâche. Pour éviter cela, désélectionnez l'option Copier les balises d'objet lors de la configuration des paramètres de vos tâches. Pour plus d'informations, veuillez consulter Gestion du mode de AWS DataSync transfert des fichiers, des objets et des métadonnées.

Métadonnées copiées entre des systèmes dotés de structures de métadonnées différentes

Lors de la copie entre des systèmes de stockage qui ne possèdent pas une structure de métadonnées similaire, DataSync gère les métadonnées selon les règles suivantes.

Lors de la copie depuis l'un de ces emplacements Vers l'un de ces sites DataSyncpeut copier

  • SMB

  • FSx for Windows File Server

  • FSx pour ONTAP (à l'aide de SMB)

  • Amazon EFS

  • FSx for Lustre

  • FSx for ZFS

  • FSx pour ONTAP (à l'aide de NFS)

  • Amazon S3

  • Stockage d'objets

  • NFS

Métadonnées POSIX par défaut pour tous les fichiers et dossiers du système de fichiers de destination ou pour les objets du compartiment S3 de destination. Cette approche inclut l'utilisation des valeurs d'ID utilisateur et d'ID de groupe POSIX par défaut.

Les métadonnées basées sur Windows (telles que les ACL) ne sont pas préservées.

  • FSx for Windows File Server

  • FSx pour ONTAP (à l'aide de SMB)

  • HDFS

 Horodatage des fichiers et des dossiers à partir de l'emplacement source. Le propriétaire du fichier ou du dossier est défini en fonction de l'utilisateur HDFS ou du principal Kerberos que vous avez spécifié lors de la création de l'emplacement HDFS. La configuration du mappage des groupes sur le cluster Hadoop détermine le groupe.

  • Amazon EFS

  • FSx for Lustre

  • FSx for ZFS

  • FSx pour ONTAP (à l'aide de NFS)

  • Amazon S3

  • Stockage d'objets

  • NFS

  • HDFS

  • SMB

  • FSx for Windows File Server

  • FSx pour ONTAP (à l'aide de SMB)

 Horodatage des fichiers et des dossiers à partir de l'emplacement source. La propriété est définie en fonction de l'utilisateur Windows qui a été spécifié DataSync pour accéder au partage Amazon FSx ou SMB. Les autorisations sont héritées du répertoire parent.

Comprendre quand et comment DataSync s'appliquent les métadonnées POSIX par défaut

DataSyncapplique les métadonnées POSIX par défaut dans les situations suivantes :

  • Lorsque les emplacements source et de destination de votre transfert ne disposent pas de structures de métadonnées similaires

  • Lorsque des métadonnées sont absentes de l'emplacement source

Le tableau suivant décrit comment DataSync appliquer les métadonnées POSIX par défaut lors de ces types de transferts :

Source Destination Autorisations de fichiers Autorisations relatives aux dossiers UID GID

  • Amazon S3 1

  • Stockage d'objets 1

  • Amazon EFS

  • FSx for Lustre

  • FSx for ZFS

  • FSx pour ONTAP (à l'aide de NFS)

  • NFS

0755

 0755

65534

65534

  • SMB

  • Amazon S3

  • Stockage d'objets

  • Amazon EFS

  • FSx for Lustre

  • FSx for ZFS

  • FSx pour ONTAP (à l'aide de NFS)

  • NFS

0644

0755

0

0

  • HDFS

  • Amazon EFS

  • FSx for Lustre

  • FSx for ZFS

  • FSx pour ONTAP (à l'aide de NFS)

  • NFS

0644

0755

0

0

1 Dans les cas où les objets ne possèdent pas de métadonnées précédemment appliquées parDataSync.

Note

HDFS enregistre la propriété des utilisateurs et des groupes de fichiers et de dossiers à l'aide de chaînes plutôt que d'identifiants numériques (tels que des UID et des GID). En l'absence de métadonnées équivalentes sur l'emplacement source, la propriété des fichiers et des dossiers est définie en fonction de l'utilisateur HDFS ou du principal Kerberos que vous avez spécifié lors de la création de l'emplacement. DataSync La configuration du mappage des groupes sur le cluster Hadoop détermine le groupe.