元数据复制者 AWS DataSync - AWS DataSync
在具有相似元数据结构的系统之间复制的元数据在具有不同元数据结构的系统之间复制的元数据了解何时以及如何DataSync应用默认 POSIX 元数据

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

元数据复制者 AWS DataSync

在传输过程中如何AWS DataSync处理文件或对象元数据取决于您使用的存储系统。

注意

DataSync不复制系统级设置。例如，在复制对象时，DataSync不会复制存储系统的加密设置。如果您从 SMB 共享进行复制，则DataSync不会复制您在文件系统级别配置的权限。

在具有相似元数据结构的系统之间复制的元数据

DataSync在具有相似元数据结构的存储系统之间保留元数据。

NFS 传输

下表描述了在使用网络文件系统 (NFS) 的位置之间DataSync可以复制哪些元数据。

在这些位置之间复制时 DataSync可以复制

  • NFS

  • Amazon EFS

  • Amazon FSx for Lustre

  • Amazon FSx for OpenZFS

  • 适用于 NetApp ONTAP 的亚马逊 FSx（使用 NFS）

  • 文件和文件夹修改时间戳

  • 文件和文件夹访问时间戳（DataSync只能在尽最大努力的基础上做到这一点）

  • 用户 ID (UID) 和组 ID (GID)

  • POSIX 权限

中小型企业转账

下表描述了在使用服务器消息块 (SMB) 的位置之间DataSync可以复制哪些元数据。

在这些位置之间复制时 DataSync可以复制

  • SMB

  • Amazon FSx for Windows File Server

  • 适用于 ONTAP 的 FSx（使用 SMB）

  • 文件时间戳：访问时间、修改时间和创建时间

  • 文件所有者安全标识符 (SID)

  • 标准文件属性：只读 (R)、存档 (A)、系统 (S)、隐藏 (H)、压缩 (C)、未索引内容 (I)、加密 (E)、临时 (T)、脱机 (O) 和稀疏文件 (P)

    DataSync尝试复制存档、压缩和稀疏属性。如果这些属性未应用于目的地，则在任务验证期间会被忽略。

    注意：适用于 ONTAP 的 FSx 不支持索引。传输到这种类型的文件系统时，DataSync会忽略 “未编入内容索引 (I)” 属性。

  • NTFS 自由访问列表（DACL），用于确定是否向对象授予访问权限。

  • NTFS 系统访问控制列表（SACL），管理员将使用这些列表记录对受保护对象的访问尝试。

    注意：如果您使用 SMB 版本 1.0，则不会复制 SACL。

    复制 DACL 需要向使用 SACL 需要向DataSync使用 SMB 的 Windows 用户授予其他权限。有关更多信息，请参阅为 SMB 创建位置、FS x for Windows File Server 或 ONTAP 的 FsX（取决于传输中的位置类型）。

HDFS

下表描述了当传输涉及 Hadoop D DataSync istributributributed System（HDFS）位置的。

从此位置复制时 到这些地点之一 DataSync可以复制

  • HDFS

  • Amazon EFS

  • FSx for Lustre

  • FSx

  • 适用于 ONTAP 的 FSx（使用 NFS）

  • 文件和文件夹修改时间戳

  • 文件和文件夹访问时间戳（DataSync只能在尽最大努力的基础上做到这一点）

  • POSIX 权限

HDFS 使用字符串来存储文件和文件夹的用户和组所有权，而不是数字标识符（例如 UID 和 GID）。UID 和 GID 的默认值应用于目标文件系统。有关默认值的更多信息，请参阅了解何时以及如何DataSync应用默认 POSIX 元数据。

Amazon S3

下表描述了传输涉及 Amazon S3 位置时DataSync可以复制哪些元数据。

到Amazon S3

从这些位置之一进行复制时 到这个位置 DataSync可以复制

  • NFS

  • Amazon EFS

  • FSx for Lustre

  • FSx

  • 适用于 ONTAP 的 FSx（使用 NFS）

  • Amazon S3

以下是 Amazon S3 用户元数据：

  • 文件和文件夹修改时间戳

  • 文件和文件夹访问时间戳（DataSync只能在尽最大努力的基础上做到这一点）

  • 用户 ID 和组 ID

  • POSIX 权限

存储在 Amazon S3 用户元数据中的文件元数据可通过以下方式与文件网关上的 NFS 共享进行互操作。AWS Storage Gateway文件网关支持从本地网络对复制到 Amazon S3 的数据进行低延迟访问。DataSync此元数据还可以与 Lustre 的 FsX 互操作。

当 DataSync 将包含此元数据的对象复制回 NFS 服务器时，系统将还原文件元数据。恢复元数据需要向 NFS 服务器授予更高的权限。有关更多信息，请参阅配置来自 NFS 文件服务器的AWS DataSync传输：

在 HDAmazon S3

在这些位置之间复制时 DataSync可以复制

  • Hadoop Distributed File System（HDFS）

  • Amazon S3

以下是 Amazon S3 用户元数据：

  • 文件和文件夹修改时间戳

  • 文件和文件夹访问时间戳（DataSync只能在尽最大努力的基础上做到这一点）

  • 用户 ID 和组 ID

  • POSIX 权限

HDFS 使用字符串来存储文件和文件夹的用户和组所有权，而不是数字标识符，例如 UID 和 GID。

在对象存储和 Amazon S3 之间

在这些位置之间复制时 DataSync可以复制

  • 对象存储

  • Amazon S3

  • 用户定义的对象元数据

  • 对象标签

  • 以下系统定义的对象元数据：

    • Content-Disposition

    • Content-Encoding

    • Content-Language

    • Content-Type

    注意：在初始传输期间DataSync复制所有对象的系统元数据。如果您将任务配置为仅传输已更改的数据，则除非对象的内容或用户元数据也已修改，否则DataSync不会在后续传输中复制系统元数据。

DataSync不复制其他对象元数据，例如对象访问控制列表 (ACL) 或以前的对象版本。

重要提示：如果您要从 Google Cloud Storage 存储分区转移对象，则复制对象标签可能会导致DataSync任务失败。为防止出现这种情况，请在配置任务设置时取消选择 “复制对象标签” 选项。有关更多信息，请参阅管理文件、对象和元数据的AWS DataSync传输方式：

在具有不同元数据结构的系统之间复制的元数据

在不具有相似元数据结构的存储系统之间进行复制时，使用以下规则DataSync处理元数据。

从这些位置之一进行复制时 到这些地点之一 DataSync可以复制

  • SMB

  • FSx for Windows File Server

  • 适用于 ONTAP 的 FSx（使用 SMB）

  • Amazon EFS

  • FSx for Lustre

  • FSx

  • 适用于 ONTAP 的 FSx（使用 NFS）

  • Amazon S3

  • 对象存储

  • NFS

目标文件系统上的所有文件和文件夹或目标 S3 存储桶中对象的@@ 默认 POSIX 元数据。该方法包括使用默认 POSIX 用户 ID 和组 ID 值。

不保留基于 Windows 的元数据（例如 ACL）。

  • FSx for Windows File Server

  • 适用于 ONTAP 的 FSx（使用 SMB）

  • HDFS

 源位置的文件和文件夹时间戳。文件或文件夹所有者是根据您在创建 HDFS 位置时指定的 HDFS 用户或 Kerberos 主体设置的。Hadoop 集群上的组映射配置决定了群组。

  • Amazon EFS

  • FSx for Lustre

  • FSx

  • 适用于 ONTAP 的 FSx（使用 NFS）

  • Amazon S3

  • 对象存储

  • NFS

  • HDFS

  • SMB

  • FSx for Windows File Server

  • 适用于 ONTAP 的 FSx（使用 SMB）

 源位置的文件和文件夹时间戳。所有权是根据在中DataSync指定访问亚马逊 FSx 或 SMB 共享的 Windows 用户设置的。权限继承自父目录。

了解何时以及如何DataSync应用默认 POSIX 元数据

DataSync在以下情况下应用默认 POSIX 元数据：

  • 当您的转账的来源和目标位置没有相似的元数据结构时

  • 当源位置缺少元数据时

下表描述了在这些类型的传输过程中如何DataSync应用默认 POSIX 元数据：

源 目标位置 文件权限 文件夹权限 UID GID

  • Amazon S 3

  • 对象存储 1

  • Amazon EFS

  • FSx for Lustre

  • FSx

  • 适用于 ONTAP 的 FSx（使用 NFS）

  • NFS

0755

 0755

65534

65534

  • SMB

  • Amazon S3

  • 对象存储

  • Amazon EFS

  • FSx for Lustre

  • FSx

  • 适用于 ONTAP 的 FSx（使用 NFS）

  • NFS

0644

0755

0

0

  • HDFS

  • Amazon EFS

  • FSx for Lustre

  • FSx

  • 适用于 ONTAP 的 FSx（使用 NFS）

  • NFS

0644

0755

0

0

1 如果对象没有先前应用过的元数据DataSync。

注意

HDFS 使用字符串而不是数字标识符（例如 UID 和 GID）存储文件和文件夹的用户和组所有权。如果源位置上没有等效的元数据，则文件和文件夹所有权将根据您在创建位置时指定的 HDFS 用户或 Kerberos 主体进行设置。DataSyncHadoop 集群上的组映射配置决定了群组。