AWS DataSync网络要求 - AWS DataSync

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

AWS DataSync网络要求

配置网络是设置过程中的重要步骤AWS DataSync。您的网络配置取决于多个因素,例如您是否需要有关存储的信息,还是准备好传输数据。它还取决于您计划使用哪种服务端点向其发送数据AWS。

自管理存储系统的网络要求

自管理存储可以指您管理的本地或云内存储系统。使用此类系统进行传输需要使用代DataSync理。

注意

根据您的网络,您可能需要允许此处列出的端口以外的端口上的流量DataSync才能连接到您的自管理存储。

From 目的 协议 端口 它是如何使用的DataSync
DataSync 代理

NFS 文件服务器

TCP/UDP

2049

装载 NFS 文件服务器。

DataSync支持 NFS 版本 3.x、4.0 和 4.1。

DataSync 代理

SMB 文件服务器

TCP/UDP

139 或 445

装载 SMB 文件服务器。

DataSync支持 SMB 版本 1.0 及更高版本 SMB 版本。

DataSync 代理

对象存储

TCP

443 (HTTPS) 或 80 (HTTP)

访问您的对象存储。

DataSync 代理 Hadoop 集群 TCP

NameNode端口(默认为 8020)

在大多数集群中,您可以在fs.defaultfs.default.name属性下的core-site.xml文件中找到此端口号(取决于 Hadoop 发行版)。

访问您的NameNodes Hadoop 集群中的。指定创建 HDFS 位置时使用的端口。
DataSync 代理 Hadoop 集群 TCP

DataNode端口(默认值为 50010)

在大多数集群中,可以在dfs.datanode.address属性下的hdfs-site.xml文件中找到此端口号。

访问您的DataNodes Hadoop 集群中的。DataSync代理自动确定要使用的端口。
DataSync 代理 Hadoop 密钥管理服务器(KMS) TCP KMS 端口(默认值为 9600) 访问您的 Hadoop 集群的 KMS。
DataSync 代理 Kerberos 密钥分发中心 (KDC) 服务器 TCP KDC 端口(默认值为 88) 使用 Kerberos 领域进行身份验证。此端口仅用于 HDFS。
DataSync 代理 存储系统的管理接口 TCP/UDP 取决于您的网络 连接到您的存储系统。DataSyncDiscovery 使用此连接来收集有关您的系统的信息。

AWS存储服务的网络要求

传输期间DataSync连接到AWS存储服务所需的网络端口各不相同。

From 目的 协议 端口
DataSync 服务

Amazon EFS

TCP

2049

DataSync 服务

FSx for Windows File Server

请参阅 Windows F Sx for Windows FSx for Windows File Server F

DataSync 服务

FSx for Lustre

参见 FsX for Lustre 的文件系统访问控制

DataSync 服务 FSx for OpenZFS

参见 OpenZFS 的 FSx 文件系统访问控制

DataSync 服务 Amazon FSx TCP

111、635 和 2049(NFS)

445 (SMB)

DataSync 服务 Amazon S3 TCP 443 (HTTPS)

VPC 终端节点的网络要求

虚拟PVPC 终端节点可在您的代理之间提供专用连接AWS,且不跨越互联网或使用公有 IP 地址。这还有助于防止数据包进入或退出网络。有关更多信息,请参阅将AWS DataSync代理与 VPC 终端节点一起使用

DataSync您的代理需要以下端口才能使用 VPC 终端节点。

From 目的 协议 端口 它是如何使用的

您的 Web 浏览器

你的DataSync经纪人

TCP

80 (HTTP)

由计算机用于获取代理激活密钥。成功激活后,DataSync 将关闭代理的端口 80。

DataSync 代理不要求端口 80 可供公开访问。所需的端口 80 访问级别取决于网络配置。

注意

或者,您可以从代理的本地控制台获取激活密钥。此方法不需要在浏览器和代理之间建立连接。有关使用本地控制台获取激活密钥的更多信息,请参阅获取代理激活密钥

DataSync 代理

您的 DataSync VPC 终端节点

要找到正确的 IP 地址,请打开 Amazon VPC 控制台,然后从左侧导航窗格中选择终端节点。选择 DataSync 终端节点,然后查看 Subnets (子网) 列表以查找与您为 VPC 终端节点设置选择的子网相对应的私有 IP 地址。

有关更多信息,请参阅将您的DataSync代理配置为使用 VPC 终端节点中的步骤 5。

TCP

1024—1064

用于控制DataSync代理和AWS服务之间的流量。

DataSync 代理

你的任务的网络接口

要查找相关的 IP 地址,请打开 Amazon EC2 控制台并从左侧导航窗格中选择网络接口。要查看任务的四个网络接口,请在搜索过滤器中输入您的任务 ID。

有关更多信息,请参阅将您的DataSync代理配置为使用 VPC 终端节点中的步骤 9。

TCP

443 (HTTPS)

用于将数据从DataSync VM 传输到AWS 服务。

DataSync 代理

您的 DataSync VPC 终端节点

TCP

22 (支持渠道)

允许AWS Support访问您的DataSync代理进行故障排除。

您无需打开此端口即可正常运行。

下图显示了使用 VPC 终端节点DataSync时所需的端口。

显示 VPC 终端节点使用的DataSync端口。

公共或 FIPS 端点的网络要求

使用公共或 FIPS 服务端点时,您的DataSync代理需要以下网络访问权限。如果您使用防火墙或路由器来过滤或限制网络流量,请将您的防火墙或路由器配置为允许这些端点。

From 目的 协议 端口 它是如何使用的 代理访问的终端节点

您的 Web 浏览器

DataSync 代理

TCP

80 (HTTP)

允许您的计算机获取DataSync代理的激活密钥。成功激活后,DataSync 将关闭代理的端口 80。

代理不要求端口 80 可供公开访问。所需的端口 80 访问级别取决于网络配置。

注意

或者,您可以从代理的本地控制台获取激活密钥。此方法不需要在浏览器和代理之间建立连接。有关更多信息,请参阅获取代理激活密钥

不适用
DataSync 代理 Amazon CloudFront TCP 443 (HTTPS) 帮助在激活之前引导您的DataSync代理。

AWS 区域:

  • d3dvvaliwoko8h.cloudfront.net

AWS GovCloud (US)地区

  • s3.us-gov-west-1.amazonaws.com/fmrsendpoints-endpointsbucket-go4p5gpna6sk

DataSync 代理 AWS TCP

443 (HTTPS)

激活您的DataSync代理并将其与您的代理关联AWS 账户。您可以在激活后封锁公共终端节点。

activation-region是激活DataSync代理AWS 区域的地方。

公共端点激活

  • activation.datasync.activation-region.amazonaws.com

FIPS 端点激活

  • activation.datasync-fips.activation-region.amazonaws.com

DataSync 代理

AWS

TCP

443 (HTTPS)

允许DataSync代理和AWS服务端点之间的通信。

有关信息,请参阅 为您的AWS DataSync代理选择服务终端节点

activation-region这是您激活DataSync代理AWS 区域的地方。根据您的用DataSync途,您可能不需要允许访问此处列出的每个端点。

DataSyncAPI 终端节点

  • datasync.activation-region.amazonaws.com

DataSync发现终端节点(仅适用于发现任务):

  • discovery-datasync.activation-region.amazonaws.com

DataSync控制平面端点

  • 公共终端节点cp.datasync.activation-region.amazonaws.com

  • FIPS 终端节点cp.datasync-fips.activation-region.amazonaws.com

DataSync数据平面端点(仅用于传输任务):

  • your-task-id.datasync-dp.activation-region.amazonaws.com

DataSync 代理 AWS TCP 80 (HTTP) 允许DataSync代理从中获取更新AWS。有关更多信息,请参阅管理您的AWS DataSync代理

activation-region这是您激活DataSync代理AWS 区域的地方。

  • repo.default.amazonaws.com

  • packages.us-west-1.amazonaws.com

  • packages.sa-east-1.amazonaws.com

  • repo.activation-region.amazonaws.com

  • packages.activation-region.amazonaws.com

DataSync 代理 AWS TCP 443 (HTTPS) 允许DataSync代理从中获取更新AWS。有关更多信息,请参阅管理您的AWS DataSync代理

activation-region这是您激活DataSync代理AWS 区域的地方。

  • amazonlinux.default.amazonaws.com

  • cdn.amazonlinux.com

  • amazonlinux-2-repos-activation-region.s3.dualstack.activation-region.amazonaws.com

  • amazonlinux-2-repos-activation-region.s3.activation-region.amazonaws.com

  • *.s3.activation-region.amazonaws.com

DataSync 代理

域名服务 (DNS) 服务器

TCP/UDP

53 (DNS)

允许DataSync代理和 DNS 服务器之间的通信。

不适用

DataSync 代理

AWS

TCP

22 (支持渠道)

AWS Support允许访问您的DataSync代理以帮助您解决问题。您无需打开此端口即可正常运行。

AWS Support频道:

  • 54.201.223.107

DataSync 代理

网络时间协议 (NTP) 服务器

UDP

123 (NTP)

允许本地系统将 VM 时间与主机时间同步。

NTP:

  • 0.amazon.pool.ntp.org

  • 1.amazon.pool.ntp.org

  • 2.amazon.pool.ntp.org

  • 3.amazon.pool.ntp.org

注意

要使用本地控制台将虚拟机代理的默认 NTP 配置更改为使用其他 NTP 服务器,请参阅同步您的 VMware 代理上的时间

下图显示了使用公共或 FIPS 端点DataSync时所需的端口。

显示公共端点或 FIPS 端点使用的DataSync端口。

网络接口要求

对于您创建的每项任务,都会DataSync自动生成和管理用于数据传输流量的网络接口。创建了多少网络接口及其DataSync创建位置取决于有关您的任务的以下详细信息:

  • 您的任务是否需要代DataSync理。

  • 您的源位置和目标位置(您从中复制数据的位置和向其中复制数据)。

  • 用于激活代理的端点的类型。

每个网络接口在您的子网中使用一个 IP 地址(网络接口越多,需要的 IP 地址就越多)。使用下表确保您的子网有足够的 IP 地址来完成任务。

用于与代理进行传输的网络接口

在AWS存储服务和非存储系统之间复制数据时,需要DataSync代理AWS。

位置 默认情况下创建的网络接口 使用公共或 FIPS 端点时在哪里创建网络接口 使用私有 (VPC) 终端节点时在哪里创建网络接口

Amazon S3

4 不适用(不需要网络接口,因为直接DataSync与 S3 存储桶通信)

您在激活DataSync代理时指定的子网。

Amazon EFS

4 您在创建 Amazon EFS 位置时指定的子网。
Amazon FSx for Windows File Server 4

与文件系统的首选文件服务器相同的子网。

Amazon FSx for Lustre 4 与文件系统相同的子网。
Amazon FSx for OpenZFS 4 与文件系统相同的子网。
Amazon FSx foNetApp r ONTAP 4 与文件系统相同的子网。

无需代理即可进行传输的网络接口

在两者之间复制数据时不需要DataSync代理AWS 服务。

注意

网络接口总数取决于您的DataSync任务位置。例如,从 Amazon EFS 站点传输到 FsX for Lustre 需要四个网络接口。同时,从FSx for Windows File Server 传输到 Amazon S3 存储桶需要两个网络接口。

位置 默认情况下创建的网络接口 在哪里创建网络接口

Amazon S3

不适用(不需要网络接口,因为直接DataSync与 S3 存储桶通信)

Amazon EFS

2 您在创建 Amazon EFS 位置时指定的子网。
FSx for Windows File Server 2

与文件系统的首选文件服务器相同的子网。

FSx for Lustre 2 与文件系统相同的子网。
FSx for OpenZFS 2 与文件系统相同的子网。
Amazon FSx 2 与文件系统相同的子网。

查看您的网络接口

要查看分配给您的DataSync任务的网络接口,请执行以下操作之一:

  • 使用该DescribeTask操作。该操作返回SourceNetworkInterfaceArnsDestinationNetworkInterfaceArns,其响应如下所示:

    arn:aws:ec2:your-region:your-account-id:network-interface/eni-f012345678abcdef0

    在此示例中,网络接口 ID 为eni-f012345678abcdef0

  • 在 Amazon EC2 控制台中,搜索您的任务 ID(例如task-f012345678abcdef0)以查找其网络接口。