使用以下命令将数据从本地数据仓库迁移到 Amazon Redshift AWS Schema Conversion Tool

配置IAM角色以访问您的 Amazon S3 存储桶

1. 创建新IAM用户。对于用户凭证，请选择编程访问类型。

2. 配置主机环境，以便您的数据提取代理可以扮演 AWS SCT 提供的角色。确保您在上一步中配置的用户允许数据提取代理使用凭证提供程序链。有关更多信息，请参阅《AWS SDK for Java 开发人员指南》中的使用凭证。

3. 创建一个有权访问您的 Amazon S3 存储桶的新IAM角色。

4. 修改此角色的“信任”部分，以信任您之前创建的担任该角色的用户。在以下示例中，将 111122223333:user/DataExtractionAgentName 替换为用户名称。

   {
       "Effect": "Allow",
       "Principal": {
           "AWS": "arn:aws:iam::111122223333:user/DataExtractionAgentName"
       },
       "Action": "sts:AssumeRole"
   }

5. 将此角色的信任部分修改为信任 redshift.amazonaws.com 以担任该角色。

   {
       "Effect": "Allow",
       "Principal": {
           "Service": [
               "redshift.amazonaws.com"
           ]
       },
       "Action": "sts:AssumeRole"
   }

6. 将此角色附加到 Amazon Redshift 集群。

建立与提取代理的安全通信

1. 启动 AWS Schema Conversion Tool.

2. 打开设置菜单，然后选择全局设置。此时显示 Global settings 对话框。

3. 选择安全性。

4. 选择生成信任存储和密钥存储，或选择选择现有信任存储。

   如果您选择生成信任存储和密钥存储，则可为信任存储和密钥存储指定名称和密码，并为生成的文件指定位置路径。您会在后面的步骤中用到这些文件。

   如果选择选择现有信任存储，则为信任存储和密钥存储指定密码和文件名。您会在后面的步骤中用到这些文件。

5. 指定信任存储和密钥存储后，请选择确定以关闭全局设置对话框。

安装提取代理

1. 如果您尚未下载 AWS SCT 安装程序文件，请按照中的说明安装和配置 AWS Schema Conversion Tool进行下载。包含 AWS SCT 安装程序文件的.zip 文件还包含解压缩代理安装程序文件。

2. 下载并安装最新版本的 Amazon Corretto 11。有关更多信息，请参阅《Amazon Corretto 11 用户指南》中适用于 Amazon Corretto 11 的下载内容。。

3. 在一个名为 agents 的子文件夹中查找提取代理的安装程序文件。对于每个计算机操作系统，用于安装提取代理的正确文件如下所示。

   操作系统	文件名
   Microsoft Windows	aws-schema-conversion-tool-extractor-2.0.1.build-number.msi
   RHEL	aws-schema-conversion-tool-extractor-2.0.1.build-number.x86_64.rpm
   Ubuntu Linux	aws-schema-conversion-tool-extractor-2.0.1.build-number.deb

4. 通过将安装程序文件复制到新计算机上，在另一台计算机上安装提取代理。

5. 运行安装程序文件。使用适合您的操作系统的说明，如下所示。

   操作系统	安装说明
   Microsoft Windows	双击该文件以运行安装程序。
   RHEL	在下载或存储该文件的文件夹中运行以下命令： sudo rpm -ivh aws-schema-conversion-tool-extractor-2.0.1.build-number.x86_64.rpm sudo ./sct-extractor-setup.sh --config
   Ubuntu Linux	在下载或存储该文件的文件夹中运行以下命令： sudo dpkg -i aws-schema-conversion-tool-extractor-2.0.1.build-number.deb sudo ./sct-extractor-setup.sh --config

6. 选择下一步，接受许可协议，然后选择下一步。

7. 输入 AWS SCT 数据提取代理的安装路径，然后选择下一步。

8. 选择安装以安装您的数据提取代理。

   AWS SCT 安装您的数据提取代理。要完成安装，请配置您的数据提取代理。 AWS SCT 自动启动配置设置程序。有关更多信息，请参阅 配置提取代理。

9. 配置数据提取代理后，选择完成以关闭安装向导。

配置提取代理

1. 启动配置设置程序：

   • 在 Windows 中，在安装数据提取代理的过程中自动 AWS SCT 启动配置设置程序。

     根据需要，您可以手动启动设置程序。为此，请在 Windows 中运行 ConfigAgent.bat 文件。可以在安装代理的文件夹中找到此文件。

   • 在RHEL和 Ubuntu 中，从安装代理的位置运行该sct-extractor-setup.sh文件。

   设置程序会提示您输入信息。对于每个提示，系统会显示默认值。

2. 在每次提示时接受默认值，或输入新值。

   指定以下信息：

   • 对于侦听端口，请输入代理将要侦听的端口号。

   • 对于添加源供应商，输入是，然后输入您的源数据仓库平台。

   • 对于JDBC驱动程序，请输入安装JDBC驱动程序的位置。

   • 在 “工作文件夹” 中，输入 AWS SCT 数据提取代理存储提取数据的路径。工作文件夹可能与代理分别位于不同的计算机，且单个工作文件夹可由不同计算机上的多个代理共享。

   • 对于 “启用SSL通信”，输入 “是”。

   • 对于密钥存储，请输入密钥存储文件的位置。

   • 对于秘钥存储密码，请输入密钥存储的密码。

   • 对于 “启用客户机SSL身份验证”，请输入 “是”。

   • 对于信任存储，请输入信任存储文件的位置。

   • 对于信任存储密码，请输入信任存储的密码。

安装和配置提取代理和专用复制代理

1. 确保所有提取代理的工作目录使用共享存储空间上的相同文件夹。

2. 按照 安装提取代理 中的步骤安装提取代理。

3. 按照中的步骤配置提取代理配置提取代理，但仅指定源JDBC驱动程序。

4. 按照中的步骤配置专用复制代理配置提取代理，但仅指定 Amazon Redshift 驱动JDBC程序。

启动提取代理

• 在安装了提取代理的计算机上，运行下列适用于您的操作系统的命令。

  操作系统	启动命令
  Microsoft Windows	双击 StartAgent.bat 批处理文件。
  RHEL	在安装了代理的文件夹的路径中运行以下命令： sudo initctl start sct-extractor
  Ubuntu Linux	在安装了代理的文件夹的路径中运行以下命令。使用适合您的 Ubuntu 版本的命令。 Ubuntu 14.04: sudo initctl start sct-extractor Ubuntu 15.04 及更高版本：sudo systemctl start sct-extractor

注册提取代理

1. 启动 AWS Schema Conversion Tool，然后打开一个项目。

2. 打开视图菜单，然后选择数据迁移视图（其他）。此时显示 Agents 选项卡。如果您之前注册过代理，则 AWS SCT 会在选项卡顶部的网格中显示这些代理。

3. 选择 Register。

   在项目中注册代理后，您无法在其他 AWS SCT 项目中注册同一个代理。如果您不再在 AWS SCT 项目中使用代理，则可以取消注册。然后，您可以将其注册到其他项目。

4. 选择 Redshift 数据代理，然后选择确定。

5. 请在对话框的连接选项卡上输入您的信息：

   1. 对于描述，请输入代理的描述。

   2. 对于主机名称，请输入代理计算机的主机名称或 IP 地址。

   3. 对于端口，请输入代理将要侦听的端口号。

   4. 选择 “注册” 以在您的 AWS SCT 项目中注册代理。

6. 重复上述步骤，向您的 AWS SCT 项目注册多个代理。

重新配置代理并恢复访问SSL证书的密码

1. 安装新的 AWS SCT 代理并运行配置。

2. 将 agent.name 文件中的 instance.properties 属性更改为创建的存储所用于的代理的名称，以便将新的代理用于现有的代理存储。

   instance.properties 文件存储在代理的私有文件夹中，该文件夹使用以下命名约定：{output.folder}\dmt\{hostName}_{portNumber}\。

3. 将 {output.folder} 的名称更改为以前的代理的输出文件夹的名称。

   此时， AWS SCT 仍在尝试访问旧主机和端口上的旧提取器。结果，无法访问的提取器会获得状态。FAILED然后，您可以更改主机和端口。

4. 通过使用 Modify 命令来修改旧代理的主机或/和端口，从而将请求流重定向到新代理。

创建数据迁移规则

1. 打开视图菜单，然后选择数据迁移视图（其他）。

2. 选择数据迁移规则，然后选择添加新规则。

3. 配置数据迁移规则：

   1. 对于名称，请为数据迁移规则输入一个名称。

   2. 对于架构名称类似于，请输入要应用于架构的筛选条件。在此筛选器中，通过使用 WHERE 子句对 LIKE 子句进行评估。要选择一个架构，请输入确切的架构名称。要选择多个架构，请使用“%”字符作为通配符来匹配架构名称中任意数量的字符。

   3. 对于表名称类似于，请输入要应用于表的筛选条件。在此筛选器中，通过使用 WHERE 子句对 LIKE 子句进行评估。要选择一张表，请输入一个确切的名称。要选择多个表，请使用“%”字符作为通配符来匹配表名中任意数量的字符。

   4. 对于 Where 子句，请输入一个 WHERE 子句以筛选数据。

4. 配置完筛选器后，请选择 Save 以保存您的筛选器，或选择 Cancel 以取消您的更改。

5. 添加、编辑和删除筛选条件后，选择全部保存以保存您的所有更改。

要在迁移之前使用对数据进行排序 AWS SCT

1. 打开一个 AWS SCT 项目。

2. 打开该对象的上下文 (右键单击) 菜单，然后选择创建本地任务。

3. 选择高级选项卡，然后，对于排序策略，选择选项：

   • 切勿使用排序 — 提取剂不使用 DENSE _ RANK 分析函数，如果出现故障，则会从头开始重新启动。

   • 尽可能使用排序-如果表具有主键或唯一约束，RANK则提取代理使用 DENSE _。

   • 第一次失败后使用排序（推荐）-提取代理首先尝试在不使用 DENSE _ 的情况下获取数据RANK。如果第一次尝试失败，则提取代理会使用 DENSE _ 重建查询，RANK并在失败时保留查询的位置。

   

4. 按下面所示设置其他参数，然后选择 Create 以创建您的数据提取任务。

将任务分配给代理并迁移数据

1. 在转换架构后 AWS Schema Conversion Tool，从项目的左侧面板中选择一个或多个表。

   您可以选择所有表，但我们不建议这样做 (出于性能考虑)。我们建议您根据数据仓库中的表大小，为多个表创建多个任务。

2. 打开每个表的上下文 (右键单击) 菜单，然后选择创建任务。此时显示创建本地任务对话框。

3. 对于任务名称，输入任务的名称。

4. 对于迁移模式，请选择下列选项之一：

   • 仅提取：提取您的数据，并将数据保存到您的本地工作文件夹。

   • 提取并上传：提取您的数据，并将数据上传到 Amazon S3。

   • 提取、上传和复制：提取您的数据，将数据上传到 Amazon S3，并将其复制到您的 Amazon Redshift 数据仓库。

5. 对于加密类型，选择下列选项之一：

   • NONE— 关闭整个数据迁移过程的数据加密。

   • CSE_SK — 使用带有对称密钥的客户端加密来迁移数据。 AWS SCT 自动生成加密密钥并使用安全套接字层 (SSL) 将其传输给数据提取代理。 AWS SCT 在数据迁移期间不加密大型对象 (LOBs)。

6. 选择 “提取” LOBs 以提取大型对象。如果您不需要提取大型对象，则可以清除该复选框。这样做可以减少提取的数据量。

7. 如果要查看有关任务的详细信息，请选择启用任务日志记录。您可以使用任务日志来调试问题。

   如果启用任务日志记录，请选择要查看的详细信息级别。级别如下所示，每个级别包含上一级别的所有消息：

   • ERROR：最小数量的详细信息。

   • WARNING

   • INFO

   • DEBUG

   • TRACE：最大数量的详细信息。

8. 要从中导出数据 BigQuery，请 AWS SCT 使用 Google 云存储空间存储分区文件夹。数据提取代理在此文件夹中存储您的源数据。

   要输入 Google Cloud Storage 存储桶文件夹的路径，请选择高级。对于 Google CS 存储桶文件夹，输入存储桶名称和文件夹名称。

9. 要为您的数据提取代理用户代入角色，请选择 Amazon S3 设置。对于IAM角色，输入要使用的角色的名称。在 “区域” 中， AWS 区域 为该角色选择。

10. 选择测试任务以验证是否可连接到您的工作文件夹、Amazon S3 存储桶和 Amazon Redshift 数据仓库。验证取决于您选择的迁移模式。

11. 选择 Create (创建) 以创建任务。

12. 重复之前步骤，为您要迁移的所有数据创建任务。

运行和监控任务

1. 对于视图，选择数据迁移视图。此时显示 Agents 选项卡。

2. 选择 Tasks 选项卡。您的任务将显示在顶部网格中，如下所示。您可以在顶部网格中查看任务的状态，并在底部网格中查看其子任务的状态。

   

3. 在顶部网格中选择一个任务并将其展开。根据所选的迁移模式，您将看到该任务分为 Extract、Upload 和 Copy。

4. 对任务选择 Start 以开始该任务。您可以监控任务工作时的状态。其子任务并行运行。提取、上传和复制操作也并行运行。

5. 如果启用了日志记录，当您设置任务时，可以查看日志：

   1. 选择下载日志。此时显示一条消息，其中包含存储该日志文件的文件夹的名称。关闭该消息。

   2. Task details 选项卡中显示一个链接。选择该链接以打开包含日志文件的文件夹。

导出和导入数据提取任务

1. 对于视图，选择数据迁移视图。此时显示 Agents 选项卡。

2. 选择 Tasks 选项卡。您的任务将在出现的网格中列出。

3. 选择位于任务列表右下角的三个垂直对齐的点（省略号图标）。

4. 从弹出式菜单中选择导出任务。

5. 选择 AWS SCT 要放置任务导出.xml文件的文件夹。

   AWS SCT 创建文件名格式为的任务导出文件TASK-DESCRIPTION_TASK-ID.xml。

6. 选择任务列表右下角的三个垂直对齐的点（省略号图标）。

7. 从弹出式菜单中选择导入任务。

   您可以将提取任务导入到与源数据库相连的项目，并且该项目至少有一个已注册的提取代理处于活动状态。

8. 为导出的提取任务选择 .xml 文件。

   AWS SCT 从文件中获取提取任务的参数，创建任务，然后将任务添加到提取代理中。

9. 重复这些步骤以导出和导入其他数据提取任务。

要在中创建新项目 AWS SCT

1. 启动 AWS Schema Conversion Tool. 在文件菜单上，选择新建项目。此时将显示新建项目对话框。

2. 为本地存储在计算机上的项目输入一个名称。

3. 输入本地项目文件的位置。

4. 选择 “确定” 创建您的 AWS SCT 项目。

5. 选择 “添加源”，将新的源数据库添加到您的 AWS SCT 项目中。

6. 选择添加目标可在 AWS SCT 项目中添加新的目标平台。

7. 在左侧面板中选择源数据库架构。

8. 在右侧面板中，为所选源架构指定目标数据库平台。

9. 选择创建映射。选择源数据库架构和目标数据库平台后，此按钮将变为活动状态。

导入您的 AWS Snowball 作业

1. 打开设置菜单，然后选择全局设置。此时显示 Global settings 对话框。

2. 选择 AWS 服务配置文件，然后选择导入作业。

3. 选择你的 AWS Snowball 工作。

4. 输入 AWS Snowball IP。有关更多信息，请参阅《AWS Snowball 用户指南》中的更改 IP 地址。

5. 输入您的 AWS Snowball 端口。有关更多信息，请参阅《边缘开发者指南》中的在 AWS Snowball 边缘设备上使用 AWS 服务所需的AWS Snowball 端口。

6. 输入您的 AWS Snowball 访问密钥和 AWS Snowball 秘密密钥。有关更多信息，请参阅《AWS Snowball 用户指南》中的 AWS Snowball中的身份验证和访问控制。

7. 选择 Apply，然后选择 OK。

注册数据提取代理

1. 在视图菜单上，选择数据迁移视图（其他），然后选择注册。

2. 对于描述，请输入数据提取代理名称。

3. 对于主机名，请输入运行数据提取代理的计算机的 IP 地址。

4. 对于端口，请输入您配置的侦听端口。

5. 选择 Register。

创建迁移任务

1. 打开视图菜单，然后选择数据迁移视图（其他）。

2. 在显示源数据库架构的左侧面板中，选择一个要迁移的架构对象。打开该对象的上下文 (右键单击) 菜单，然后选择创建本地任务。

3. 对于任务名称，请输入数据迁移任务的描述性名称。

4. 对于迁移模式，选择提取、上传和复制。

5. 选择 Amazon S3 设置。

6. 选择使用 Snowball。

7. 在 Amazon S3 存储桶中输入数据提取代理可以存储数据的文件夹和子文件夹。

8. 选择 Create (创建) 以创建任务。

创建RANGE虚拟分区

1. 打开 AWS SCT。

2. 选择数据迁移视图（其他）模式。

3. 选择要在其中设置虚拟分区的表。打开该表的上下文 (右键单击) 菜单，并选择添加虚拟分区。

4. 在添加虚拟分区对话框中，输入如下信息。

   选项	操作
   分区类型	选择RANGE。根据您选择的类型，对话框 UI 将发生更改。
   列名称	选择要分区的列。
   列类型	在该列中选择值的数据类型。
   值	通过在 New Value 框中键入各个值来添加新值，然后选择加号以添加相应值。
   从文件加载	（可选）输入包含分区值的 .csv 文件的名称。

5. 选择确定。

创建LIST虚拟分区

1. 打开 AWS SCT。

2. 选择数据迁移视图（其他）模式。

3. 选择要在其中设置虚拟分区的表。打开该表的上下文 (右键单击) 菜单，并选择添加虚拟分区。

4. 在添加虚拟分区对话框中，输入如下信息。

   选项	操作
   分区类型	选择LIST。根据您选择的类型，对话框 UI 将发生更改。
   列名称	选择要分区的列。
   新值	在此处键入一个值以将其添加到分区值集。
   包括其他值	选择此选项可创建一个默认分区，不满足分区条件的所有值都将存储在该分区中。
   从文件加载	（可选）输入包含分区值的 .csv 文件的名称。

5. 选择确定。

创建DATEAUTOSPLIT虚拟分区

1. 打开 AWS SCT。

2. 选择数据迁移视图（其他）模式。

3. 选择要在其中设置虚拟分区的表。打开该表的上下文 (右键单击) 菜单，并选择添加虚拟分区。

4. 在添加虚拟分区对话框中，输入如下信息。

   选项	操作
   分区类型	选择DATEAUTOSPLIT。根据您选择的类型，对话框 UI 将发生更改。
   列名称	选择要分区的列。
   开始日期	键入开始日期。
   结束日期	键入结束日期。
   Interval	输入间隔单位，然后选择该单位的值。

5. 选择确定。

使用本机分区

1. 打开 AWS SCT，然后为 “文件” 选择 “新建项目”。此时将显示新建项目对话框。

2. 创建新项目，添加源服务器和目标服务器，并创建映射规则。有关更多信息，请参阅 在中启动和管理项目 AWS SCT。

3. 选择视图，然后选择主视图。

4. 在项目设置中，选择数据迁移选项卡。选择使用自动分区。对于 Greenplum 和 Netezza 源数据库，请输入支持表的最小大小，以兆字节为单位（例如 100）。 AWS SCT 自动为每个不为空的本机分区创建单独的迁移子任务。对于 Oracle 到 Amazon Redshift 的迁移，需要为所有分区表 AWS SCT 创建子任务。

5. 在显示源数据库中的架构的左面板中，选择架构。打开该对象的上下文 (右键单击) 菜单，然后选择收集统计数据。要将数据从 Oracle 迁移到 Amazon Redshift，您可以跳过此步骤。

6. 选择所有要迁移的表。

7. 注册所需数量的代理。有关更多信息，请参阅 在中注册提取剂 AWS Schema Conversion Tool。

8. 为所选表创建数据提取任务。有关更多信息，请参阅 创建、运行和监控 AWS SCT 数据提取任务。

   检查大型表是否被拆分为子任务，以及每个子任务是否与呈现源数据仓库中一个切片上的表的一部分的数据集相匹配。

9. 启动并监控迁移过程，直到 AWS SCT 数据提取代理完成源表中的数据迁移。

迁移LOBs到亚马逊 Redshift

1. 打开一个 AWS SCT 项目。

2. 连接到源数据库和目标数据库。刷新目标数据库中的元数据，并确保转换后的表存在于目标数据库中。

3. 对于操作，选择创建本地任务。

4. 对于迁移模式，请选择下列选项之一：

   • 提取并上传提取您的数据，并将数据上传到 Amazon S3。

   • 提取、上传和复制提取您的数据，将数据上传到 Amazon S3，并将其复制到 Amazon Redshift 数据仓库。

5. 选择Amazon S3 设置。

6. 对于 Amazon S3 存储桶LOBs文件夹，在 Amazon S3 存储桶中输入要LOBs存储该文件夹的名称。

   如果您使用 AWS 服务配置文件，则此字段为可选字段。 AWS SCT 可以使用您个人资料中的默认设置。要使用其他 Amazon S3 存储桶，请在此处输入路径。

7. 启用使用代理选项，使用代理服务器将数据上传到 Amazon S3。然后选择数据传输协议，输入主机名称、端口、用户名称和密码。

8. 对于端点类型，FIPS请选择使用联邦信息处理标准 (FIPS) 端点。选择VPCE使用虚拟私有云 (VPC) 端点。然后，对于VPC终端节点，输入终VPC端节点的域名系统 (DNS)。

9. 打开文件复制到 Amazon Redshift 后将其保留在 Amazon S3 上选项，以便在将提取的文件复制到 Amazon Redshift 后将这些文件保留在 Amazon S3 上。

10. 选择 Create (创建) 以创建任务。