AWS DataSync任务场景示例

创建任务

1. 通过 https://console.aws.amazon.com/datasync/ 打开AWS DataSync主机。

2. 在左侧导航窗格中，展开 “数据传输”，然后选择 “任务”，然后选择 “创建任务”。

3. 在 Configure source location (配置源位置) 页面上，如果要对源使用新位置，请选择 Create new location (创建新位置) 并配置新位置。提供配置设置，然后选择 Next (下一步)。有关如何创建位置的说明，请参阅我可以在哪里传输我的数据AWS DataSync？。

   如果您要使用之前创建的源位置，请选择 Choose existing location (选择现有位置)，从列表中选择所需的源位置，然后选择 Next (下一步)。

   有关step-by-step说明，请参见为其创建源位置 AWS DataSync。

将DataSync代理部署为 Amazon EC2 实例

1. 从源 EFS 所在AWS 账户的位置，使用 Amazon EC2 启动向导中的亚马逊系统映像 (AMI) 启动代理。使用以下 URL 启动 AMI。

   https://console.aws.amazon.com/ec2/v2/home?region=source-efs-or-nfs-region#LaunchInstanceWizard:ami=ami-id

   在该 URL 中，将 source-efs-or-nfs-region 和 ami-id 替换为您自己的值。

   AMI 启动后，“选择实例类型” 将出现在 Amazon EC2 控制台上。有关 AMI ID 的列表AWS 区域，请参阅在 Amazon EC2 上部署您的代理。

2. 为您的使用案例选择一种建议的实例类型，然后选择 Next: Configure Instance Details (下一步: 配置实例详细信息)。有关建议的实例类型，请参阅 Amazon EC2 实例要求。

3. 在 Configure Instance Details (配置实例详细信息) 页面中，执行以下操作：

   1. 对于网络，选择您的源 EFS 或 NFS 所在的 VPC。

   2. 为自动分配公有 IP 选择一个值。如果希望能够从公共 Internet 中访问您的实例，请将自动分配公有 IP 设置为启用。否则，请将自动分配公有 IP 设置为禁用。如果未分配公有 IP 地址，请在使用其私有 IP 地址的 VPC 中激活代理。

      当您从云端 NFS 传输文件时，为了提高性能，我们建议您选择您的 NFS 服务器所在的置放群组。

4. 选择下一步：添加存储。代理不需要额外的存储空间，因此，您可以跳过此步骤，然后选择 Next: Add tags (下一步：添加标签)。

5. （可选）在添加标签页面上，您可以向您的 Amazon EC2 实例添加标签。当您在页面上完成后，选择 Next: Configure Security Group (下一步：配置安全组)。

6. 在 Configure Security Group (配置安全组) 页面上，执行以下操作：

   1. 确保所选安全组允许从您计划用于激活代理的 Web 浏览器到 HTTP 端口 80 的入站访问。

   2. 确保源 EFS 或 NFS 的安全组允许来自代理的入站流量。此外，请确保代理允许流向源 EFS 或 NFS 的出站流量。流量经由标准 NFS 端口 2049。

   有关 DataSync 的一组完整的网络要求，请参阅 AWS DataSync网络要求。

7. 选择审核和启动以检查您的配置，然后选择启动以启动您的实例。请记得使用您有权访问的密钥对。将显示一个确认页面，指出您的实例正在启动。

8. 选择 View Instances 以关闭确认页面并返回 Amazon EC2 实例屏幕。当您启动实例时，其初始状态为 pending (待处理)。实例启动后，其状态将更改为 running (正在运行)。此时，已为其分配了公共域名系统 (DNS) 名称和 IP 地址，可在 “描述” 选项卡中找到。

9. 如果您将自动分配公有 IP 设置为启用，则选择您的实例，然后在描述选项卡中记下公有 IP 地址。您之后将使用该 IP 地址连接到您的同步代理。

   如果您将自动分配公有 IP 设置为禁用，则启动或使用 VPC 中的现有实例以激活代理。在这种情况下，您可以使用同步代理的私有 IP 地址从 VPC 中的该实例激活代理。

创建任务

1. 在目的地AWS 区域所在的位置打开DataSync控制台。

   目标 Amazon EFS 或Amazon S3 存储桶必须位于同一存储桶中AWS 账户。

2. 在左侧导航窗格中，选择 Agents，然后选择 Create（创建代理）。

3. 在创建代理向导的激活部分中，输入 Amazon EC2 实例的 IP 地址作为代理地址，然后选择获取密钥。此 IP 地址可以是私有或公有地址。有关更多详情，请参阅将DataSync代理部署为 Amazon EC2 实例的步骤 9。

   您的浏览器连接到此 IP 地址，以便从代理中获取唯一的激活密钥。此密钥可安全地将您的代理与您关联AWS 账户。不需要能够从您的网络外部访问该 IP 地址，但必须能够从浏览器中访问该 IP 地址。

4. 输入便于以后轻松识别的代理名称，完成后选择 Create agent (创建代理)。（可选）您可以将标签添加到代理。

5. 在左侧导航窗格中，展开 Data Transs，然后选择 Tasks（任务）。

6. 选择 “本地到”AWS，然后选择 “下一步” 以打开 “源配置” 页面。

7. 在配置源位置页面上，选择创建新位置，然后为位置类型选择网络文件系统 (NFS) 或服务器消息块 (SMB)。填充以下选项：

   • 对于代理，从列表中选择您新创建的代理。

   • 如果您正在从 EFS 进行复制，请执行以下操作：

     • 对于 NFS Server (NFS 服务器)，输入源 EFS 的 DNS name (DNS 名称)。

     • 在装载路径中，输入/（正斜杠）并选择下一步。

   • 如果要从自管理 NFS 或 SMB 进行复制，请执行以下操作：

     • 对于 NFS Server (NFS 服务器)，输入源 NFS 的私有 DNS 或 IP 地址。

     • 在装载路径中，输入 NFS 服务器导出的路径，然后选择下一步。

8. 选择 Create new location (创建新位置)。这是数据传输的目标位置。填充以下选项：

   • 如果要复制到 EFS，请执行以下操作：

     • 对于 Location type (位置类型)，选择 EFS。

     • 选择您的目标 EFS。

     • 在装载路径中，输入/（正斜杠）。

     • 对于子网和安全组，请使用默认设置，然后选择下一步。

   • 如果您要复制到 Amazon S3，请执行以下操作：

     • 对于位置类型，选择 Amazon S3 存储桶。

     • 对于 Amazon S3 存储桶，选择您的源Amazon S3 存储桶。

     • 对于 Folder (文件夹)，选择用于传输的文件夹前缀，或将其留为空白。

     • 选择目标 Amazon S3 存储桶和可选文件夹。DataSync可以生成 AWS Identity and Access Management (IAM) 角色来访问您的存储桶，也可以自己创建。

9. 选择 Next (下一步)，然后（可选）给任务命名并添加标签。

10. 在页面底部选择或创建 Amazon Log CloudWatch s 日志组，然后选择下一步。有关使用CloudWatch日志的更多信息，请参阅允许DataSync将日志上传到CloudWatch日志组。

11. 检查下一页上的设置，然后选择 Create task (创建任务)。

12. 选择 Start (启动) 运行您刚刚创建的任务以开始传输数据。

部署代理

• 使用 Amazon EC2 启动向导从选定的 AMI 启动代理。为此，请使用以下 URL。

  https://console.aws.amazon.com/ec2/v2/home?region=DESTINATION-EFS-or-NFS-REGION#LaunchInstanceWizard:ami=AMI-ID. 

  在 URL 中，将AWS 区域和 AMI ID 替换为您自己的 AMI ID。您将会被重定向到 Amazon EC2 控制台上的选择一个实例类型页面。有关 AMI ID 的列表AWS 区域，请参阅在 Amazon EC2 上部署您的代理。

创建将数据从 Amazon S3 传输到 EFS 或自我管理的 NFS 或 SMB 的任务

1. 在您的源 Amazon S3 桶打开DataSync控制台。AWS 区域

2. 选择 Create agent (创建代理)。

3. 如果您将自动分配公有 IP 设置为启用，则选择您的实例，然后在描述选项卡中记下公有 IP 地址。您之后将使用该 IP 地址连接到您的同步代理。

   如果您将自动分配公有 IP 设置为禁用，则启动或使用 VPC 中的现有实例以激活代理。在这种情况下，您可以使用同步代理的私有 IP 地址从 VPC 中的该实例激活代理。

4. 在创建代理向导中，对于代理地址，输入 Amazon EC2 实例的 IP 地址（私有或公有，如步骤 3 所述），然后选择获取密钥。

   您的浏览器连接到此 IP 地址，以便从代理中获取唯一的激活密钥。此密钥可安全地将您的代理与您关联AWS 账户。不需要能够从您的网络外部访问该 IP 地址，但必须能够从浏览器中访问该 IP 地址。

5. 选择一个便于以后识别的代理名称。您可以选择性地添加标签。完成后，选择 Create agent (创建代理)。

6. 选择AWS本地，然后选择下一步。

7. 选择 Create new location (创建新位置)：

   • 对于位置类型，选择 Amazon S3 存储桶。

   • 对于 Amazon S3 存储桶，选择您的源Amazon S3 存储桶。

   • 对于 Folder (文件夹)，选择用于传输的文件夹前缀，或将其留为空白。

     DataSync可以生成 IAM 角色来访问您的存储桶，也可以自己创建。

8. 选择下一步。选择创建新位置，为位置类型选择 NFS 或 SMB，然后从列表中选择刚刚创建的代理。

9. 1. 如果要复制到 EFS，请执行以下操作：

      • 对于 NFS Server (NFS 服务器)，输入源 EFS 的 DNS name (DNS 名称)。

      • 在装载路径中，输入/（正斜杠）并选择下一步。

   2. 如果要复制到云端 NFS，请执行以下操作：

      • 对于 NFS Server (NFS 服务器)，输入源 NFS 的私有 DNS 或 IP 地址。

      • 对于 Mount path (挂载路径)，输入您的 NFS 服务器导出的路径。有关更多信息，请参阅创建 NFS 位置：

10. 选择 Next (下一步)，然后（可选）给任务命名并添加标签。

11. 在页面底部选择或创建CloudWatch日志日志组，然后选择下一步。有关使用CloudWatch日志的更多信息，请参阅允许DataSync将日志上传到CloudWatch日志组。

12. 检查下一页上的设置，然后选择 Create task (创建任务)。

13. 选择 “开始” 以运行您刚刚创建的用于传输数据的任务，然后在 “启动任务” 页面上再次选择 “启动”。