使用 AWS Schema Conversion Tool 的最佳实践。 - AWS Schema Conversion Tool
配置额外的内存默认项目文件夹提高数据迁移速度增加日志记录信息

使用 AWS Schema Conversion Tool 的最佳实践。

查找关于使用 AWS Schema Conversion Tool (AWS SCT) 的最佳实践和选项信息。

配置额外的内存

为了转换大型数据库架构，例如含有 3500 个存储过程的数据库，您可以配置供 AWS Schema Conversion Tool 使用的内存容量。

修改 AWS SCT 使用的内存量

  1. 在设置菜单上，选择全局设置，然后选择 JVM 选项。

  2. 选择编辑配置文件，然后选择文本编辑器来打开配置文件。

  3. 编辑 JavaOptions 部分以设置最小和最大可用内存。以下示例将最小值设置为 4 GB，最大值设置为 40 GB。

    [JavaOptions]
-Xmx40960M
-Xms4096M

    建议您将最小可用内存设置为至少 4 GB。

  4. 保存配置文件，选择确定，然后重新启动 AWS SCT 以应用更改。

配置默认项目文件夹

AWS SCT 使用项目文件夹存储项目文件、保存评估报告和存储转换后的代码。默认情况下，AWS SCT 将所有文件存储在应用程序文件夹中。您可以将其他文件夹指定为默认项目文件夹。

更改默认项目文件夹

  1. 在设置菜单上，选择全局设置，然后选择文件路径。

  2. 在默认项目文件路径中，输入默认项目文件夹的路径。

  3. 选择应用，然后选择确定。

提高数据迁移速度

要迁移大型数据集，例如一组数据超过 1 TB 的表，可能需要提高迁移速度。使用数据提取代理时，数据迁移的速度取决于各种因素。这些因素包括目标 Amazon Redshift 集群中的切片数量、迁移任务中区块文件的大小、运行数据提取代理的 PC 上的可用 RAM 等。

为了提高数据迁移速度，建议使用生产数据的小数据集运行多个测试迁移会话。此外，建议您在装有至少 500 GB 的固态硬盘的 PC 上运行数据提取代理。在这些测试会话中，更改不同的迁移参数，监控磁盘利用率，找出可确保最大数据迁移速度的配置。然后，使用此配置迁移整个数据集。

增加日志记录信息

您可以增加转换数据库、脚本和应用程序 SQL 时由 AWS SCT 生成的日志记录信息。尽管增加日志记录信息可能会减慢转换速度，但这些更改可以帮助您在出现错误时向 AWS Support 提供可靠的信息。

AWS SCT 将日志存储在本地环境中。您可以查看这些日志文件并与 AWS Support 或 AWS SCT 开发人员共享以进行故障排除。

更改日志记录设置

  1. 打开设置菜单，选择全局设置，然后选择日志记录。

  2. 在日志文件夹路径中，输入用于存储用户界面日志的文件夹。

  3. 在控制台日志文件夹路径中，输入用于存储 AWS SCT 命令行界面（CLI）日志的文件夹。

  4. 在最大日志文件大小（MB）中，输入单个日志文件的大小（以 MB 为单位）。在文件达到此限制后，AWS SCT 创建一个新的日志文件。

  5. 在最大日志文件数中，输入要存储的日志文件的数量。文件夹中的日志文件数量达到此限制后，AWS SCT 会删除最旧的日志文件。

  6. 在提取器日志下载路径中，输入用于存储数据提取代理日志的文件夹。

  7. 对于 Cassandra 提取器日志路径，请输入用于存储 Apache Cassandra 数据提取代理日志的文件夹。

  8. 选择加载前询问路径，确保每次使用数据提取代理时 AWS SCT 都会询问日志的存储位置。

  9. 对于调试模式，请选择 True。当标准 AWS SCT 日志不包含任何问题时，使用此选项可以记录其他信息。

  10. 选择关键应用程序模块以增加日志记录信息。您可以增加以下应用程序模块的日志记录信息：

    • 一般性问题

    • 加载程序

    • 解析器

    • 打印机

    • 解析程序

    • 遥测

    • 转换器

    • 类型映射

    • 用户界面

    • 控制器

    • 比较架构

    • 克隆数据中心

    • 应用程序分析器

    对于上述每个应用程序模块，请选择下列日志记录级别之一：

    • 跟踪：最详细的信息。

    • 调试：有关系统流量的详细信息。

    • 信息：运行时事件，例如启动或关闭。

    • 警告：使用已弃用的 API、API 使用不当、其他不良或意外的运行时情况。

    • 错误：运行时错误或意外情况。

    • 严重：导致应用程序关闭的错误。

    • 强制性：可能的最高错误级别。

    默认情况下，在打开调试模式后，AWS SCT 会为所有应用程序模块设置信息日志记录级别。

    例如，为了帮助解决转换过程中的关键问题区域，请将解析器、类型映射和用户界面设置为跟踪。

如果对于流式传输日志的文件系统而言，信息变得过于详细，请切换到有足够空间捕获日志的位置。

要将日志传输到 AWS Support，请转到存储日志的目录，然后将所有文件压缩成易于管理的单个.zip 文件。然后上传带支持案例的 .zip 文件。当初始分析完成并且持续开发恢复时，将调试模式恢复为 false 以清除详细日志记录。然后提高转换速度。

提示

要管理日志大小并简化报告问题，请在成功转换后删除日志或将其移至其他位置。执行此任务可确保仅将相关的错误和信息传输给 AWS Support，并防止填充日志文件系统。