Metadatos copiados por AWS DataSync - AWS DataSync
Metadatos copiados entre sistemas con estructuras de metadatos similaresMetadatos copiados entre sistemas con diferentes estructuras de metadatosComprender cuándo y cómo DataSync se aplican los metadatos POSIX predeterminados

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Metadatos copiados por AWS DataSync

La forma en que AWS DataSync gestione los metadatos de los archivos u objetos durante una transferencia depende de los sistemas de almacenamiento con los que esté trabajando.

nota

DataSyncno copia la configuración a nivel de sistema. Por ejemplo, al copiar objetos, DataSync no copia la configuración de cifrado del sistema de almacenamiento. Si está copiando desde un recurso compartido de SMB, DataSync no copia los permisos que configuró a nivel del sistema de archivos.

Metadatos copiados entre sistemas con estructuras de metadatos similares

DataSyncconserva los metadatos entre los sistemas de almacenamiento que tienen una estructura de metadatos similar.

transferencias NFS

En la siguiente tabla se describen los metadatos que DataSync se pueden copiar entre ubicaciones que utilizan el Sistema de archivos de red (NFS).

Al copiar entre estas ubicaciones DataSyncpuede copiar

  • NFS

  • Amazon EFS

  • Amazon FSx for Lustre

  • Amazon FSx for OpenZFS

  • Amazon FSx para NetApp ONTAP (con NFS)

  • Marcas temporales de modificación de archivos y carpetas

  • Marcas de acceso a archivos y carpetas (solo DataSync puede hacerlo en base al mejor esfuerzo)

  • ID de usuario (UID) e ID de grupo (GID)

  • Permisos POSIX

Transferencias SMB

En la siguiente tabla se describen los metadatos que DataSync se pueden copiar entre ubicaciones que utilizan el bloque de mensajes del servidor (SMB).

Al copiar entre estas ubicaciones DataSyncpuede copiar

  • SMB

  • Amazon FSx for Windows File Server

  • FSx para ONTAP (mediante SMB)

  • Marcas temporales del archivo: hora de acceso, hora de modificación y hora de creación

  • Identificador de seguridad del propietario del archivo (SID)

  • Atributos de archivo estándar: solo lectura (R), archivo (A), sistema (S), oculto (H), comprimido (C), sin contenido indexado (I), cifrado (E), temporal (T), sin conexión (O) y disperso (P)

    DataSyncintenta copiar los atributos archivados, comprimidos y dispersos. Si estos atributos no se aplican al destino, se ignoran durante la verificación de la tarea.

    Nota: FSx para ONTAP no admite la indexación. Al realizar la transferencia a este tipo de sistema de archivos, DataSync omite el atributo no indexado (I) con contenido no indexado.

  • Listas de acceso discrecional (DACL) de NTFS, que determinan si se concede acceso a un objeto.

  • Las listas de control de acceso al sistema (SACL) de NTFS, que los administradores utilizan para registrar los intentos de acceso a un objeto protegido.

    Nota: Las SACL no se copian si utiliza la versión 1.0 de SMB.

    Para copiar las SACL y SACL, es necesario conceder permisos específicos al usuario de Windows que DataSync utiliza para copiar las SACL de SMB. Para obtener más información, consulte crear una ubicación para SMB, FSx for Windows File Server o FSx para ONTAP (según el tipo de ubicación de la transferencia).

Transferencias HDFS

En la siguiente tabla se describe qué metadatos DataSync pueden copiar cuando una transferencia implica una ubicación de sistema de archivos distribuido de sistema de archivos distribuido de sistema de archivos distribuido de sistema de archivos distribuido de sistema de archivos distribuido de sistema de archivos distribuido de sistema de archivos distribuido

Al copiar desde esta ubicación A uno de estos lugares DataSyncpuede copiar

  • HDFS

  • Amazon EFS

  • FSx for Lustre

  • FSx for OpenZFS

  • FSx para ONTAP (mediante NFS)

  • Marcas temporales de modificación de archivos y carpetas

  • Marcas de acceso a archivos y carpetas (solo DataSync puede hacerlo en base al mejor esfuerzo)

  • Permisos POSIX

HDFS usa cadenas para almacenar la propiedad de los usuarios y grupos de archivos y carpetas, en lugar de identificadores numéricos (como los UID y los GID). Los valores predeterminados para los UID y los GID se aplican al sistema de archivos de destino. Para obtener más información acerca de los valores predeterminados, consulteComprender cuándo y cómo DataSync se aplican los metadatos POSIX predeterminados.

Transferencias Amazon S3 Transfer

En las siguientes tablas se describen los metadatos que se DataSync pueden copiar cuando una transferencia implica una ubicación de Amazon S3.

Para Amazon S3 Transfer Amazon

Al copiar desde una de estas ubicaciones A esta ubicación DataSyncpuede copiar

  • NFS

  • Amazon EFS

  • FSx for Lustre

  • FSx for OpenZFS

  • FSx para ONTAP (mediante NFS)

  • Simple Storage Service (Amazon S3)

Los siguientes como metadatos de usuario de Amazon S3:

  • Marcas temporales de modificación de archivos y carpetas

  • Marcas de acceso a archivos y carpetas (solo DataSync puede hacerlo en base al mejor esfuerzo)

  • ID de usuario e ID de grupo

  • Permisos POSIX

Los metadatos de archivo almacenados en los metadatos de usuario de Amazon S3 son interoperables con los recursos compartidos de NFS en las puertas de enlace de archivos mediante. AWS Storage Gateway Una pasarela de archivos permite el acceso con baja latencia desde las redes locales a los datos copiados a Amazon S3 por. DataSync Estos metadatos también son interoperables con FSx for Lustre.

Cuando DataSync copia objetos que contienen estos metadatos en el servidor NFS, los metadatos del archivo se restauran. La restauración de metadatos requiere la concesión de permisos elevados al servidor NFS. Para obtener más información, consulte Configuración de AWS DataSync transferencias desde un servidor de archivos NFS.

Entre HDFS y Amazon S3 Transfer Transfer Acre

Al copiar entre estas ubicaciones DataSyncpuede copiar

  • Hadoop Distributed File System (HDFS)

  • Simple Storage Service (Amazon S3)

Los siguientes como metadatos de usuario de Amazon S3:

  • Marcas temporales de modificación de archivos y carpetas

  • Marcas de acceso a archivos y carpetas (solo DataSync puede hacerlo en base al mejor esfuerzo)

  • ID de usuario e ID de grupo

  • Permisos POSIX

HDFS usa cadenas para almacenar la propiedad de los usuarios y grupos de archivos y carpetas, en lugar de identificadores numéricos, como los UID y los GID.

Entre el almacenamiento de objetos y Amazon S3

Al copiar entre estas ubicaciones DataSyncpuede copiar

  • Almacenamiento de objetos

  • Simple Storage Service (Amazon S3)

  • Metadatos de objetos definidos por el usuario

  • Etiquetas de objeto

  • Los siguientes metadatos de objeto definido por el sistema:

    • Content-Disposition

    • Content-Encoding

    • Content-Language

    • Content-Type

    Nota: DataSync copia los metadatos del sistema para todos los objetos durante una transferencia inicial. Si configura la tarea para transferir solo los datos que hayan cambiado, DataSync no copiará los metadatos del sistema en las transferencias posteriores a menos que también se hayan modificado el contenido de un objeto o los metadatos del usuario.

DataSyncno copia otros metadatos de objetos, como las listas de control de acceso a objetos (ACL) o las versiones anteriores de objetos.

Importante: Si transfieres objetos desde un depósito de Google Cloud Storage, es posible que al copiar las etiquetas de objetos se produzca un error en la DataSync tarea. Para evitarlo, desactive la opción Copiar etiquetas de objetos al configurar los ajustes de la tarea. Para obtener más información, consulte Administrar la forma en que se AWS DataSync transfieren archivos, objetos y metadatos.

Metadatos copiados entre sistemas con diferentes estructuras de metadatos

Al copiar entre sistemas de almacenamiento que no tienen una estructura de metadatos similar, DataSync gestiona los metadatos mediante las siguientes reglas.

Al copiar desde una de estas ubicaciones A uno de estos lugares DataSyncpuede copiar

  • SMB

  • FSx for Windows File Server

  • FSx para ONTAP (mediante SMB)

  • Amazon EFS

  • FSx for Lustre

  • FSx for OpenZFS

  • FSx para ONTAP (mediante NFS)

  • Simple Storage Service (Amazon S3)

  • Almacenamiento de objetos

  • NFS

Metadatos POSIX predeterminados para todos los archivos y carpetas del sistema de archivos de destino o los objetos del bucket de S3 de destino. Este enfoque incluye el uso del ID de usuario de POSIX predeterminado y los valores de ID de grupo.

Los metadatos basados en Windows (como las ACL) no se conservan.

  • FSx for Windows File Server

  • FSx para ONTAP (mediante SMB)

  • HDFS

 Marcas de tiempo de archivos y carpetas desde la ubicación de origen. El propietario del archivo o la carpeta se establece en función del usuario de HDFS o del principal de Kerberos que especificó al crear la ubicación de HDFS. La configuración de mapeo de grupos del clúster de Hadoop determina el grupo.

  • Amazon EFS

  • FSx for Lustre

  • FSx for OpenZFS

  • FSx para ONTAP (mediante NFS)

  • Simple Storage Service (Amazon S3)

  • Almacenamiento de objetos

  • NFS

  • HDFS

  • SMB

  • FSx for Windows File Server

  • FSx para ONTAP (mediante SMB)

 Marcas de tiempo de archivos y carpetas desde la ubicación de origen. La propiedad se establece en función del usuario de Windows que se especificó DataSync para acceder al recurso compartido de Amazon FSx o SMB. Los permisos se heredan del directorio principal.

Comprender cuándo y cómo DataSync se aplican los metadatos POSIX predeterminados

DataSyncaplica los metadatos POSIX predeterminados en las siguientes situaciones:

  • Cuando las ubicaciones de origen y destino de la transferencia no tienen estructuras de metadatos similares

  • Cuando faltan metadatos en la ubicación de origen

La siguiente tabla describe cómo DataSync se aplican los metadatos POSIX predeterminados durante estos tipos de transferencias:

Fuente Destino Permisos de archivos Permisos de carpeta UID GID

  • Amazon S3 1

  • Almacenamiento de objetos 1

  • Amazon EFS

  • FSx for Lustre

  • FSx for OpenZFS

  • FSx para ONTAP (mediante NFS)

  • NFS

0755

 0755

65534

65534

  • SMB

  • Simple Storage Service (Amazon S3)

  • Almacenamiento de objetos

  • Amazon EFS

  • FSx for Lustre

  • FSx for OpenZFS

  • FSx para ONTAP (mediante NFS)

  • NFS

0644

0755

0

0

  • HDFS

  • Amazon EFS

  • FSx for Lustre

  • FSx for OpenZFS

  • FSx para ONTAP (mediante NFS)

  • NFS

0644

0755

0

0

1 En los casos en que los objetos no tengan metadatos que hayan sido aplicados anteriormente porDataSync.

nota

HDFS almacena la propiedad de los usuarios y grupos de archivos y carpetas mediante cadenas en lugar de identificadores numéricos (como los UID y los GID). Cuando no hay metadatos equivalentes en la ubicación de origen, la propiedad de los archivos y carpetas se establece en función del usuario de HDFS o del principal de Kerberos que especificó al crear la DataSync ubicación. La configuración de mapeo de grupos del clúster de Hadoop determina el grupo.