对中的迁移任务进行故障排除 AWS Database Migration Service - AWS 数据库迁移服务
迁移任务运行缓慢任务状态栏没有进展任务已完成但未迁移任何内容缺少外键和辅助索引AWS DMS 不创建 CloudWatch 日志连接到 Amazon 时出现问题 RDS出现网络问题CDC满负荷后卡住了重新启动任务时出现主键冲突错误架构初始加载失败任务失败，出现未知错误任务重新启动操作从头开始加载表每个任务的表数量导致问题在LOB列上创建主键时任务失败不带主键的目标表上出现重复的记录预留 IP 范围内的源端点失败Amazon Athena 查询中的时间戳是乱码排除 Oracle 中的问题“我的” 问题疑难解答 SQLPostgre 问题疑难解答 SQL微软SQL服务器问题疑难解答排除 Amazon Redshift 中的问题我的 Amazon Aurora 问题疑难解答 SQL 对问题进行故障排除 SAP ASEIBMDb2 问题疑难解答

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

对中的迁移任务进行故障排除 AWS Database Migration Service

接下来，您可以找到有关 AWS 数据库迁移服务（AWS DMS）问题疑难解答的主题。这些主题可以帮助您解决同时使用所选端点数据库 AWS DMS 和所选端点数据库的常见问题。

如果您已提出 Su AWS pport 案例，您的支持工程师可能会发现您的某个端点数据库配置存在潜在问题。工程师可能还会要求您运行支持脚本以返回有关数据库的诊断信息。有关从此类支持脚本下载、运行和上传诊断信息的详细信息，请参阅在中使用诊断支持脚本 AWS DMS。

出于故障排除目的，在复制实例中 AWS DMS 收集跟踪文件并转储文件。如果出现需要故障排除的问题， AWS 您可以将这些文件提供给 Support。默认情况下，DMS会清除三十天以上的跟踪和转储文件。要选择退出跟踪和转储文件收集，请向 Support AWS 提交案例。

主题

迁移任务运行缓慢

多个问题可能导致迁移任务运行缓慢，或导致后续任务的运行速度慢于初始任务的运行速度。

迁移任务运行缓慢的最常见原因是分配给 AWS DMS 复制实例的资源不足。为确保您的实例有足够的资源来执行您正在其上运行的任务，请检查您的复制实例对内存CPU、交换文件和的使用情况IOPS。例如，多个将 Amazon Redshift 作为端点的任务是 I/O 密集型的。您可以增加复制实例IOPS的数量，也可以将任务分散到多个复制实例中，以实现更高效的迁移。

有关如何确定复制实例的大小的更多信息，请参阅选择复制实例的最佳大小。

您可以执行以下操作来提高初始迁移加载的速度：

  • 如果您的目标是 Amazon RDS 数据库实例，请确保未为目标数据库实例启用多可用区。

  • 在加载期间，请关闭目标数据库上的任何自动备份或日志记录功能，并在迁移完成后重新启用这些功能。

  • 如果该功能在您的目标上可用，请使用预配置。IOPS

  • 如果您的迁移数据包含LOBs，请确保任务针对LOB迁移进行了优化。有关优化的更多信息LOBs，请参阅目标元数据任务设置。

任务状态栏没有进展

任务状态栏提供了任务进度的估计值。此估计值的质量取决于源数据库的表统计数据的质量；表统计数据的质量越好，估计值就越准确。

对于只有一个表且没有估计行统计数据的任务，则 AWS DMS 无法提供任何类型的完成百分比估计值。在此情况下，可使用任务状态和行加载指示来确认任务是否正在运行且取得进展。

任务已完成但未迁移任何内容

如果任务完成后未迁移任何内容，请执行以下操作。

  • 检查创建端点的用户对要迁移的表是否具有读取权限。

  • 检查要迁移的对象是否为表。如果是视图，则更新表映射并将 object-locator 指定为“view”或“all”。有关更多信息，请参阅 通过控制台指定表选择和转换规则。

缺少外键和辅助索引

AWS DMS 创建表、主键，在某些情况下还会创建唯一索引，但它不会创建任何其他不需要从源中高效迁移数据的对象。例如，它不会创建二级索引、非主键约束或数据默认值。

要迁移数据库中的二级对象，请使用数据库的本机工具 (如果您将迁移到与源数据库相同的数据库引擎)。如果您要迁移到的数据库引擎不同于源数据库用来迁移二级对象的数据库引擎，请使用 AWS Schema Conversion Tool （AWS SCT）。

AWS DMS 不创建 CloudWatch 日志

如果您的复制任务未创建 CloudWatch 日志，请确保您的账户具有该dms-cloudwatch-logs-role角色。如果此角色不存在，请执行以下操作以创建：

  1. 登录 AWS Management Console 并打开IAM控制台，网址为https://console.aws.amazon.com/iam/。

  2. 选择角色选项卡。选择创建角色）。

  3. 在选择受信任实体的类型部分中，选择 AWS 服务。

  4. 在 “选择用例” 部分中，选择DMS。

  5. 选择下一步: 权限。

  6. 在搜索字段AmazonDMSCloudWatchLogsRole中输入，然后选中 A 旁边的复选框mazonDMSCloudWatchLogsRole。这会授 AWS DMS 予访问权限 CloudWatch。

  7. 选择下一步：标签。

  8. 选择下一步：审核。

  9. 对于角色名称，输入 dms-cloudwatch-logs-role。此名称区分大小写。

  10. 选择 Create role（创建角色）。

连接到 Amazon 时出现问题 RDS

可能有多种原因导致您无法连接到您设置为源或目标的 Amazon RDS 数据库实例。以下是一些需要检查的项目：

  • 检查用户名和密码组合是否正确。

  • 检查 Amazon RDS 控制台中显示的该实例的终端节点值是否与您用于创建终端节点的终端 AWS DMS 节点标识符相同。

  • 检查 Amazon RDS 控制台中显示的实例端口值是否与分配给 AWS DMS 终端节点的端口值相同。

  • 检查分配给 Amazon RDS 数据库实例的安全组是否允许来自 AWS DMS 复制实例的连接。

  • 如果 AWS DMS 复制实例和 Amazon RDS 数据库实例不在同一个虚拟私有云中 (VPC)，请检查该数据库实例是否可公开访问。

错误消息：线程连接字符串不正确：线程值 0 不正确

在测试与终端节点的连接时通常会出现此错误。此错误表示连接字符串出错。例如，主机 IP 地址后面有一个空格。另一种可能是在连接字符串中复制了错误字符。

出现网络问题

最常见的网络问题涉及 AWS DMS 复制实例使用的VPC安全组。默认情况下，此安全组中的规则允许在所有端口上进入 0.0.0.0/0。在许多情况下，您可以修改此安全组或使用自己的安全组。如果这样做，请确保在源端点和目标端点各自的数据库端口上向其提供传出。

其他与配置相关的问题可能包括：

  • 复制实例以及源端点和目标端点相同 VPC — 终端节点使用的安全组必须允许从复制实例进入数据库端口。确保复制实例使用的安全组可以传入端点。或者您可以在由端点使用的安全组中创建规则，允许复制实例的私有 IP 地址访问。

  • 源端点不在复制实例VPC使用的范围内（使用 Internet 网关）— VPC 安全组必须包含将不属于的流量发送到 Internet 网关的路由规则。VPC在此配置中，与终端节点的连接显示为来自复制实例上的公有 IP 地址。

  • 源端点不在复制实例VPC使用的范围内（使用NAT网关）— 您可以使用绑定到单个弹性网络接口的单个弹性 IP 地址来配置网络地址转换 (NAT) 网关。此NAT网关接收NAT标识符 (nat-#####)。

    在某些情况下，VPC包括指向该NAT网关而不是互联网网关的默认路由。在这种情况下，复制实例似乎使用NAT网关的公有 IP 地址联系数据库终端节点。在这里，数据库终端节点之外的入口VPC需要允许从该NAT地址而不是复制实例的公有 IP 地址进入。

有关如何使用您自己的本地名称服务器的信息，请参阅 使用您自己的本地名称服务器。

CDC满负荷后卡住了

在多个 AWS DMS 设置相互冲突的情况下，复制更改在完全加载迁移后将减慢或粘滞。

例如，假设目标表准备模式参数设置为不执行任何操作或截断。在这种情况下，您已指示不要 AWS DMS 对目标表进行任何设置，包括创建主索引和唯一索引。如果您尚未在目标表上创建主键或唯一键，则 AWS DMS 会对每次更新进行全表扫描。此方法将大大影响性能。

重新启动任务时出现主键冲突错误

当数据保留在上一个迁移任务中的目标数据库中时，会出现此错误。如果 “目标表准备模式” 选项设置为 “什么都 AWS DMS 不做”，则不对目标表进行任何准备，包括清理从先前任务中插入的数据。

要重新启动任务并避免出现这些错误，请删除上次运行任务时插入目标表中的行。

架构初始加载失败

在某些情况下，架构的初始加载可能会失败，出现错误 Operation:getSchemaListDetails:errType=, status=0, errMessage=, errDetails=。

在这种情况下，用于 AWS DMS 连接到源端点的用户账户没有必要的权限。

任务失败，出现未知错误

可能会因为各种各样的原因导致出现未知类型错误。但是，我们经常发现问题涉及分配给 AWS DMS 复制实例的资源不足。

为确保您的复制实例有足够的资源来执行迁移，请检查您的实例对内存CPU、交换文件和的使用情况IOPS。有关监控的更多信息，请参阅AWS Database Migration Service 指标。

任务重新启动操作从头开始加载表

AWS DMS 当表的初始加载尚未完成时，会从头开始重新启动表加载。当任务重新启动时，当初始 AWS DMS 加载未完成时，会从头开始重新加载表。

每个任务的表数量导致问题

每个复制任务上的表数量没有设置限制。但是，根据经验，我们建议将一个任务中的表数量限制在 60000 以下。当单个任务使用 60000 个以上的表时，资源使用通常是一个瓶颈。

在LOB列上创建主键时任务失败

在FULLLOB或LIMITEDLOB模式下， AWS DMS 不支持复制属于LOB数据类型的主键。

DMS最初迁移LOB列为空的行，然后更新该LOB列。因此，当在LOB列上创建主键时，由于主键不能为空，因此初始插入会失败。解决方法是添加另一列作为主键，然后从该LOB列中删除主键。

不带主键的目标表上出现重复的记录

运行满负荷CDC任务可能会在没有主键或唯一索引的目标表上创建重复的记录。为避免在满负荷和CDC任务期间在目标表上重复记录，请确保目标表具有主键或唯一索引。

预留 IP 范围内的源端点失败

如果 AWS DMS 源数据库使用保留 IP 范围 192.168.0.0/24 内的 IP 地址，则源端点连接测试将失败。以下步骤提供了一个可能的解决方法：

  1. 在 192.168.0.0/24 中找到一个不在预留范围内、可以与源数据库通信的 Amazon EC2 实例。

  2. 安装 socat 代理并运行它。下面是一个示例。

    yum install socat
                
socat -d -d -lmlocal2 tcp4-listen:database port,bind=0.0.0.0,reuseaddr,fork tcp4:source_database_ip_address:database_port
&

使用前面给出的 Amazon EC2 实例 IP 地址和数据库端口作为 AWS DMS 终端节点。确保终端节点具有允许 AWS DMS 访问数据库端口的安全组。请注意，代理需要在DMS任务执行期间运行。根据使用案例，您可能需要自动设置代理。

Amazon Athena 查询中的时间戳是乱码

如果 Athena 查询中的时间戳出现乱码，请使用 AWS Management Console 或ModifyEndpoint操作将 Amazon S3 终端节点的值parquetTimestampInMillisecond设置为。true有关更多信息，请参阅 S3Settings。

排除 Oracle 中的问题

接下来，您可以了解如何解决 AWS DMS 与 Oracle 数据库配合使用的特定问题。

从视图中提取数据

您可以从视图中提取一次数据；您无法将其用于持续复制。要能够从视图中提取数据，您必须将以下代码添加到 Oracle 源端点页面的端点设置部分中。从视图中提取数据时，此视图将显示为目标架构上的表。

"ExposeViews": true

LOBs从 Oracle 12c 迁移

AWS DMS 可以使用两种方法来捕获 Oracle 数据库的更改，即二进制读取器和 Oracle LogMiner。默认情况下， AWS DMS 使用 Oracle LogMiner 来捕获更改。但是，在 Oracle 12c 上，甲骨文 LogMiner 不支持LOB列。要捕获 Oracle 12c 上LOB列的更改，请使用二进制读取器。

在甲骨文 LogMiner和二进制阅读器之间切换

AWS DMS 可以使用两种方法来捕获源 Oracle 数据库的更改，即 Binary Reader 和 Oracle LogMiner。甲骨文 LogMiner 是默认的。要切换到使用 Binary Reader 捕获更改，请执行以下操作：

使用 Binary Reader 捕获更改

  1. 登录 AWS Management Console 并在 https://console.aws.amazon.com/dms/v2/上打开 AWS DMS 控制台。

  2. 选择端点。

  3. 选择要使用 Binary Reader 的 Oracle 源端点。

  4. 选择修改。

  5. 选择高级，然后为额外的连接属性添加以下代码：

    
useLogminerReader=N

  6. 使用诸如 SQL-Plus 之类的 Oracle 开发者工具，向用于连接到 Oracle 端点的 AWS DMS 用户帐户授予以下额外权限。

    
SELECT ON V_$TRANSPORTABLE_PLATFORM

错误：Oracle CDC 已停止 122301 oracle 已CDC超过最大重试计数器。

当所需的 Oracle 存档日志在无法使用它们捕获更改之前 AWS DMS 已从服务器中删除时，就会发生此错误。增加数据库服务器上的日志保留策略。对于 Amazon RDS 数据库，请运行以下过程以增加日志保留期。例如，以下代码将 Amazon RDS 数据库实例的日志保留时间延长到 24 小时。


exec rdsadmin.rdsadmin_util.set_configuration('archivelog retention hours',24);

自动将补充日志记录添加到 Oracle 源端点

默认情况下， AWS DMS 已关闭补充日志记录。要自动为源 Oracle 终端节点启用补充日志记录，请执行以下操作：

将补充日志记录添加到源 Oracle 终端节点

  1. 登录 AWS Management Console 并在 https://console.aws.amazon.com/dms/v2/上打开 AWS DMS 控制台。

  2. 选择端点。

  3. 选择要将补充日志记录添加到的 Oracle 源端点。

  4. 选择修改。

  5. 选择高级，然后将以下代码添加到额外的连接属性文本框中：

    
addSupplementalLogging=Y

  6. 选择 Modify（修改）。

LOB未捕获更改

当前，表必须具有主键 AWS DMS 才能捕获LOB更改。如果包含的表LOBs没有主键，则可以采取多种操作来捕获LOB更改：

  • 向表添加主键。此操作与添加 ID 列并使用触发器向该列填充序列一样简单。

  • 创建将系统生成的 ID 包含为主键的表的实体化视图，并迁移该实体化视图而非表。

  • 创建逻辑备用，向表添加主键并从逻辑备用迁移。

错误：ORA-12899：值对于列来说太大 column-name

错误 “ORA-12899：该值对于列来说太大 column-name“通常是由几个问题引起的。

其中一个问题是源数据库和目标数据库使用的字符集不匹配。

在另一个问题中，两个数据库之间的国家语言支持 (NLS) 设置不同。导致此错误的一个常见原因是源数据库 NLS LENGTH _ SEMANTICS 参数设置为，CHAR而目标数据库 NLS _ LENGTH _ SEMANTICS 参数设置为BYTE。

NUMBER数据类型被误解

Oracle NUMBER 数据类型会转换为各种 AWS DMS 数据类型，具体取决于的精度和小数位数NUMBER。此处记录了这些转换：Oracle 的源数据类型。使用源 Oracle 端点的端点设置也会影响转换NUMBER类型的方式。这些端点设置记录在使用 Oracle 作为来源时的终端节点设置 AWS DMS中。

完全加载期间缺少记录

执行满载时，会在数据库级别 AWS DMS 查找未完成的事务，然后等待事务提交。例如，根据任务设置TransactionConsistencyTimeout=600，即使打开 AWS DMS 的事务位于未包含在表映射中的表上，也会等待 10 分钟。但是，如果未完成的事务位于表映射中包含的表上，并且该事务未及时提交，则会导致目标表中缺少记录。

如果您知道未完成的事务需要较长的时间才能提交，则可以修改 TransactionConsistencyTimeout 任务设置并延长等待时间。

另请注意，FailOnTransactionConsistencyBreached 任务设置的默认值为 false。这意味着 AWS DMS 继续应用其他交易，但错过了未平仓交易。如果您希望在未完成的事务没有及时关闭时任务失败，则可以 FailOnTransactionConsistencyBreached 将设置为 true。

表错误

如果 WHERE 子句未引用主键列，并且未对所有列使用补充日志，则 Table Error 会在复制期间出现在表统计信息中。

要修复此问题，请为所引用表的所有列启用补充日志记录。有关更多信息，请参阅 设置补充日志记录。

错误：无法检索 Oracle 存档的重做日志目标 ID

当您的 Oracle 源代码未生成任何存档日志或 V$ ARCHIVED _ LOG 为空时，就会发生此错误。您可以通过手动切换日志来解决错误。

对于 Amazon RDS 数据库，请运行以下过程来切换日志文件。switch_logfile 过程没有任何参数。

exec rdsadmin.rdsadmin_util.switch_logfile;

对于自管理 Oracle 源数据库，请使用以下命令强制切换日志。

ALTER SYSTEM SWITCH LOGFILE ;

评估 Oracle 重做或存档日志的读取性能

如果您的 Oracle 源遇到性能问题，则可以评估 Oracle 重做或存档日志的读取性能，以寻找提高性能的方法。要测试重做或存档日志的读取性能，请使用AWS DMS 诊断 Amazon 计算机映像 (AMI)。

您可以使用 AWS DMS 诊断程序AMI执行以下操作：

  • 使用该 bFile 方法评估重做日志文件的性能。

  • 使用该 LogMiner 方法评估重做日志文件的性能。

  • 使用 PL/ SQL (dbms_lob.read) 方法评估重做日志文件的性能。

  • 使用单线程评估上的读取性能。ASMFile

  • 使用多线程来评估读取性能。ASMFile

  • 使用 Direct OS Readfile() Windows 或 Pread64 Linux 函数来评估重做日志文件。

然后，您可以根据结果采取补救措施。

测试 Oracle 重做或归档日志文件的读取性能

  1. 创建 AWS DMS 诊断型 A AMI mazon EC2 实例并连接到该实例。

    有关更多信息，请参阅使用 AWS DMS 诊断程序AMI。

  2. 运行 awsreplperf 命令。

    $ awsreplperf

    该命令显示 AWS DMS Oracle 读取性能实用程序选项。

    0.	Quit
1.	Read using Bfile
2.	Read using LogMiner
3.	Read file PL/SQL (dms_lob.read)
4.	Read ASMFile Single Thread
5.	Read ASMFile Multi Thread
6.	Readfile() function

  3. 从列表中选择一个选项。

  4. 输入以下数据库连接和存档日志信息。

    Oracle user name [system]:
Oracle password:

Oracle connection name [orcllx]:
Connection format hostname:port/instance

Oracle event trace? [N]: 
Default N = No or Y = Yes

Path to redo or archive log file []:

  5. 检查显示的输出以获取相关的读取性能信息。例如，以下显示了选择选项编号 2 “读取使用” 可能产生的输出 LogMiner。

    读取性能实用程序输出

  6. 要退出该实用程序，请输入 0（零）。

后续步骤

  • 当结果显示读取速度低于可接受的阈值时，请在端点上运行 Oracle 诊断支持脚本，查看“等待时间”、“加载配置文件”和“IO 配置文件”部分。然后调整任何可能提高读取性能的异常配置。例如，如果您的重做日志文件最大为 2 GB，请尝试将 LOG _ 增加BUFFER到 200 MB 以帮助提高性能。

  • 查看AWS DMS 最佳实践，确保您的DMS复制实例、任务和终端节点配置最佳。

“我的” 问题疑难解答 SQL

接下来，您可以了解如何解决与 “我的SQL数据库” AWS DMS 一起使用的特定问题。

CDC由于禁用了二进制日志记录，Amazon RDS 数据库实例终端节点的任务失败

由于禁用了自动备份，Amazon RDS 数据库实例会出现此问题。可通过将备份保留期设置为非零值来启用自动备份。

与目标的连接我的SQL实例在任务执行期间断开连接

如果你的任务LOBs与 “我的SQL目标” 断开连接，你可能会在任务日志中看到以下类型的错误。

[TARGET_LOAD ]E: RetCode: SQL_ERROR SqlState: 08S01 NativeError: 
2013 Message: [MySQL][ODBC 5.3(w) Driver][mysqld-5.7.16-log]Lost connection 
to MySQL server during query [122502] ODBC general error.
 [TARGET_LOAD ]E: RetCode: SQL_ERROR SqlState: HY000 NativeError: 
2006 Message: [MySQL][ODBC 5.3(w) Driver]MySQL server has gone away 
[122502] ODBC general error.

在这种情况下，您可能需要调整某些任务设置。

要解决任务与 “我的SQL目标” 断开连接的问题，请执行以下操作：

  • 检查您的数据库变量是否max_allowed_packet设置得足够大，足以容纳最大的变量LOB。

  • 检查您是否让以下变量集具有较大的超时值。建议您对其中每个变量使用的值至少为 5 分钟。

    • net_read_timeout

    • net_write_timeout

    • wait_timeout

有关设置 “我的SQL系统变量” 的信息，请参阅 “我的SQL文档” 中的服务器系统变量。

向 “我的SQL兼容” 端点添加自动提交

向目标添加自动提交我的兼容SQL端点

  1. 登录 AWS Management Console 并在 https://console.aws.amazon.com/dms/v2/上打开 AWS DMS 控制台。

  2. 选择端点。

  3. 选择要向其添加自动提交的 “我的SQL兼容” 目标端点。

  4. 选择 Modify（修改）。

  5. 选择高级，然后将以下代码添加到额外的连接属性文本框中：

    
Initstmt= SET AUTOCOMMIT=1

  6. 选择 Modify（修改）。

在目标上禁用外键我的SQL兼容端点

SQL通过将以下内容添加到目标 “我的” SQL、“Amazon Aurora 我的SQL兼容版” 或 MariaDB 终端节点的 “高级” 部分的 “额外连接属性” 中，可以禁用 “我的外键检查”。

在目标上禁用外键我的SQL兼容端点

  1. 登录 AWS Management Console 并在 https://console.aws.amazon.com/dms/v2/上打开 AWS DMS 控制台。

  2. 选择端点。

  3. 选择要禁用外键SQL的 “我的” SQL、“我的 Aurora” 或 “MariaDB” 目标端点。

  4. 选择 Modify（修改）。

  5. 选择高级，然后将以下代码添加到额外的连接属性文本框中：

    
Initstmt=SET FOREIGN_KEY_CHECKS=0

  6. 选择修改。

字符被替换为问号

导致此问题的最常见情况是源端点字符由 AWS DMS 不支持的字符集编码。

“错误事件”日志条目

迁移日志中的 “错误事件” 条目通常表示有人在源数据库端点上尝试了不支持的数据定义语言 (DDL) 操作。不支持的DDL操作会导致复制实例无法跳过的事件，因此会记录一个不良事件。

要修复此问题，请从头开始重新启动任务。这样做会重新加载表，并在发出不支持的DDL操作后的某个时刻开始捕获更改。

使用 My SQL 5.5 更改数据采集

AWS DMS Amazon M RDS y SQL 兼容数据库的更改数据捕获 (CDC) 需要基于完整图像行的二进制日志记录，而我的 5.5 或更低SQL版本不支持此功能。要使用 AWS DMS CDC，您必须将您的 Amazon RDS 数据库实例升级到我SQL的 5.6 版。

提高 Amazon RDS 数据库实例的二进制日志保留期

AWS DMS 需要保留二进制日志文件以捕获更改数据。要提高 Amazon RDS 数据库实例的日志保留期，请使用以下步骤。以下示例将二进制日志保留期增至 24 小时。


call mysql.rds_set_configuration('binlog retention hours', 24);

日志消息：源数据库中的一些更改在应用于目标数据库时不起作用。

将 “我的SQL数据库” 列的值 AWS DMS 更新为其现有值时，将从 “我的数据库” 返回一条消息SQL。zero rows affected这种行为与其他数据库引擎（例如 Oracle 和 SQL Server）不同。即使替换值与当前值相同，这些引擎也会更新一行。

错误：标识符太长

当标识符太长时，会出现以下错误：


TARGET_LOAD E: RetCode: SQL_ERROR SqlState: HY000 NativeError: 
1059 Message: MySQLhttp://ODBC 5.3(w) Driverhttp://mysqld-5.6.10Identifier 
name 'name' is too long 122502 ODBC general error. (ar_odbc_stmt.c:4054)

在某些情况下，您可以设置 AWS DMS 为在目标数据库中创建表和主键。在这些情况下，DMS当前使用的主键名称与源数据库中使用的主键名称不同。而是根据表名DMS创建主键名称。如果表名很长，则创建的自动生成的标识符可能长于 My SQL 的允许限制。

为了解决这个问题，当前的方法是先在目标数据库中预先创建表和主键。然后使用任务，将任务设置目标表准备模式设置为不执行任何操作或截断来填充目标表。

错误：不受支持的字符集导致字段数据转换失败

当不受支持的字符集导致字段数据转换失败时，会出现以下错误：


"[SOURCE_CAPTURE ]E: Column 'column-name' uses an unsupported character set [120112] 
A field data conversion failed. (mysql_endpoint_capture.c:2154)

请检查与连接相关的数据库参数。以下命令可用于设置这些参数。


SHOW VARIABLES LIKE '%char%';

错误：Codepage 1252 到 UTF8 [120112] 字段数据转换失败

如果源 “我的数据库” 中有非 codepage-1252 字符，则迁移期间可能会发生以下错误。SQL

  
[SOURCE_CAPTURE ]E: Error converting column 'column_xyz' in table
'table_xyz with codepage 1252 to UTF8 [120112] A field data conversion failed. 
(mysql_endpoint_capture.c:2248)

解决方法是，您可以将CharsetMapping额外的连接属性与源 “我的SQL端点” 一起使用来指定字符集映射。如果您添加此端点设置，则可能需要从头开始重新启动 AWS DMS 迁移任务。

例如，以下端点设置可用于 “我的SQL源端点”，其中源字符集为Utf8或latin1。65001 是UTF8代码页标识符。

   
CharsetMapping=utf8,65001
CharsetMapping=latin1,65001

索引、外键或级联更新内容或删除内容未迁移

AWS DMS 不支持迁移次要对象，例如索引和外键。要复制通过级联更新或删除操作对子表所做的更改，您需要在目标表上激活触发外键约束。要解决此限制，请在目标表上手动创建外键。然后，要么为满负荷创建单个任务CDC，要么为满负荷创建两个单独的任务CDC，如下所述：

创建支持满负荷的单个任务和 CDC

此过程介绍如何使用单个任务迁移外键和索引以实现满负荷和CDC。

创建满负荷和CDC任务

  1. 在目标上手动创建带有外键和索引的表，以匹配源表。

  2. 将以下内容ECA添加到目标终 AWS DMS 端节点：

    Initstmt=SET FOREIGN_KEY_CHECKS=0;

  3. 在TargetTablePrepMode设置为的情况下创建 AWS DMS 任务DO_NOTHING。

  4. 将 Stop task after full load completes 设置为 StopTaskCachedChangesApplied。

  5. 启动任务。 AWS DMS 任务完成满载后自动停止任务，并应用所有缓存的更改。

  6. 移除SET FOREIGN_KEY_CHECKSECA您之前添加的。

  7. 继续执行任务。该任务进入该CDC阶段，并将源数据库中的持续更改应用到目标数据库。

分别创建满负荷和CDC任务

这些过程描述了如何使用单独的任务迁移外键和索引以实现满负荷和CDC。

创建完全加载任务

  1. 在目标上手动创建带有外键和索引的表，以匹配源表。

  2. 将以下内容ECA添加到目标终 AWS DMS 端节点：

    Initstmt=SET FOREIGN_KEY_CHECKS=0;

  3. 创建 AWS DMS 任务，TargetTablePrepMode参数设置为DO_NOTHING，参数EnableValidation设置为FALSE。

  4. 启动任务。 AWS DMS 任务完成满载后自动停止任务，并应用所有缓存的更改。

  5. 任务完成后，记下满载任务的开始时间或二进制日志文件名和位置，以启动CDC唯一的任务。UTC请参阅日志，获取UTC从初始满载开始时间开始的时间戳。

创建CDC仅限任务

  1. 移除SET FOREIGN_KEY_CHECKSECA您之前设置的。

  2. 创建CDC仅限任务，将起始位置设置为上一步中记录的满载开始时间。或者，您可以使用上一步中记录的二进制日志位置。将 TargetTablePrepMode 设置为 DO_NOTHING。如果需要，请将 EnableValidation 设置设为 TRUE 来启用数据验证。

  3. 启动CDC仅限任务，并监控日志中是否存在错误。

注意

此解决方法仅适用于 “我SQL的” SQL 迁移。此方法不能与批量应用功能一起使用，因为批量应用要求目标表没有活动外键。

Postgre 问题疑难解答 SQL

接下来，您可以了解如何解决 AWS DMS 与 Postgre SQL 数据库配合使用的特定问题。

JSON正在截断的数据类型

AWS DMS 将 Postgre 中的JSON数据类型SQL视为LOB数据类型列。这意味着使用受限LOB模式时LOB的大小限制适用于JSON数据。

例如，假设限制LOB模式设置为 4,096 KB。在这种情况下，任何大于 4,096 KB JSON 的数据都会在 4,096 KB 的限制下被截断，并且无法通过 Postgre 中的验证测试。SQL

以下日志信息显示了由于LOB模式设置JSON受限和验证失败而被截断的日志信息。

03:00:49
2017-09-19T03:00:49 [TARGET_APPLY ]E: Failed to execute statement: 
  'UPDATE "public"."delivery_options_quotes" SET "id"=? , "enabled"=? , 
  "new_cart_id"=? , "order_id"=? , "user_id"=? , "zone_id"=? , "quotes"=? , 
  "start_at"=? , "end_at"=? , "last_quoted_at"=? , "created_at"=? , 
  "updated_at"=? WHERE "id"=? ' [1022502] (ar_odbc_stmt
2017-09-19T03:00:49 [TARGET_APPLY ]E: Failed to execute statement: 
  'UPDATE "public"."delivery_options_quotes" SET "id"=? , "enabled"=? , 
  "new_cart_id"=? , "order_id"=? , "user_id"=? , "zone_id"=? , "quotes"=? , 
  "start_at"=? , "end_at"=? , "last_quoted_at"=? , "created_at"=? , 
  "updated_at"=? WHERE "id"=? ' [1022502] (ar_odbc_stmt.c:2415)

03:00:49
2017-09-19T03:00:49 [TARGET_APPLY ]E: RetCode: SQL_ERROR SqlState: 
  22P02 NativeError: 1 Message: ERROR: invalid input syntax for type json;, 
  Error while executing the query [1022502] (ar_odbc_stmt.c:2421)
2017-09-19T03:00:49 [TARGET_APPLY ]E: RetCode: SQL_ERROR SqlState: 
  22P02 NativeError: 1 Message: ERROR: invalid input syntax for type json;, 
  Error while executing the query [1022502] (ar_odbc_stmt.c:2421)

用户定义的数据类型的列未正确迁移

从 Postgre SQL 源进行复制时，除了具有用户定义数据类型的列之外，会为所有列 AWS DMS 创建具有相同数据类型的目标表。在此类情况下，在目标中创建数据类型作为“可变字符”。

错误：未选择要在其中执行创建操作的架构

在某些情况下，您可能会看到错误 “SQL_ ERROR SqlState: 3F000 NativeError: 7 消息:ERROR: 未选择要在中创建的架构”。

当您的JSON表映射包含架构的通配符值但源数据库不支持该值时，可能会发生此错误。

无法使用复制对表的删除和更新 CDC

如果源表没有主键，则在更改数据捕获 (CDC) 期间的删除和更新操作将被忽略。 AWS DMS 支持使用主键的 Postgre SQL 表的更改数据捕获 (CDC)。

如果表没有主键，write-ahead (WAL) 日志将不包含数据库行之前的图像。在这种情况下， AWS DMS 无法更新表。对于要复制的删除操作，请在源表上创建主键。

未传播截断语句

使用更改数据捕获 (CDC) 时，不支持TRUNCATE操作 AWS DMS。

阻止 Postgr SQL e 捕获 DDL

您可以通过添加以下端点设置DDL语句来阻止 Postgre SQL 目标端点捕获语句。


"CaptureDDLs": "N"

选择在其中创建要捕获DDL的数据库对象的架构

您可以控制在哪个架构中创建与捕获DDL相关的数据库对象。添加以下端点设置语句。端点设置参数在源端点的选项卡中可用。


"DdlArtifactsSchema: "xyzddlschema"

迁移到 Postgre 后缺少 Oracle 表 SQL

在这种情况下，您的表和数据通常仍然可以访问。

Oracle 默认为大写表名，Postgre SQL 默认为小写表名。当您执行从 Oracle 到 Postgre 的迁移时SQL，我们建议您在任务的表格映射部分下提供某些转换规则。这些是转换表名大小写的转换规则。

如果您在未使用转换规则来转换表名的大小写的情况下迁移表，请在引用表名时为其添加引号。

ReplicationSlotDiskUsage 在长时间事务（例如工作负载）期间，增加并且 restart_lsn 停止向前移动 ETL

启用逻辑复制后，每个事务在内存中保留的最大更改数为 4MB。之后，更改会溢出到磁盘。因此，ReplicationSlotDiskUsage 会增加，并且在事务完成/中止并且回滚完成之前，restart_lsn 不会有进展。由于这是一个长时间运行的事务，可能需要花费较长时间回滚。

因此，在启用逻辑复制时，请避免长时间运行的事务。请改为尝试将事务分成几个较小的事务。

使用视图作为源的任务未复制行

要迁移视图，请将 table-type 设置为 all 或 view。有关更多信息，请参阅 通过控制台指定表选择和转换规则。

以下来源支持视图。

  • Oracle

  • 微软SQL服务器

  • 我的 SQL

  • Postgre SQL

  • IBMDb2 LUW

  • SAP自适应服务器企业版 (ASE)

微软SQL服务器问题疑难解答

接下来，你可以了解如何解决 AWS DMS 与 Microsoft SQL 服务器数据库一起使用的特定问题。

服务器故障转移到辅助SQL服务器后RDS，正在进行的复制失败

如果源SQL服务器实例故障转移到辅助服务器，则 AWS DMS 正在进行的复制会继续尝试连接，并在源服务器恢复在线后继续复制。但是，RDS对于SQL服务器MAZ实例，在某些情况下，可以将辅助数据库所有者设置为NT AUTHORITY\SYSTEM。故障转移后，这会导致DMS任务失败，并出现以下错误：

[SOURCE_CAPTURE  ]E:  RetCode: SQL_ERROR  SqlState: 42000 NativeError: 33009 Message: 
                [Microsoft][ODBC Driver 17 for SQL Server][SQL Server]The database owner SID recorded in the master 
                database differs from the database owner SID recorded in database 'rdsadmin'. You should correct 
                this situation by resetting the owner of database 'rdsadmin' using the ALTER AUTHORIZATION statement. 
                Line: 1 Column: -1 [1022502]  (ar_odbc_stmt.c:5035)

要修复此问题，请按照将数据库的 db_owner 帐户更改为 rdsa 帐户中的步骤操作，然后继续执行任务。DMS

捕获SQL服务器数据库更改时出错

更改数据捕获 (CDC) 期间出现的错误通常表示未满足其中一个先决条件。例如，经常被忽视的先决条件是完整数据库备份。任务日志中会指出此忽略以及以下错误：


SOURCE_CAPTURE E: No FULL database backup found (under the 'FULL' recovery model). 
To enable all changes to be captured, you must perform a full database backup. 
120438 Changes may be missed. (sqlserver_log_queries.c:2623)

查看中列出的使用SQL服务器作为源的先决条件使用 Microsoft SQL 服务器数据库作为来源 AWS DMS。

缺少身份列

AWS DMS 创建目标架构时不支持标识列。在初始加载完成后，必须添加这些列。

错误：SQL服务器不支持出版物

当您使用 SQL Server Express 作为源端点时，会生成以下错误：


RetCode: SQL_ERROR SqlState: HY000 NativeError: 21106 
Message: This edition of SQL Server does not support publications.

AWS DMS 目前不支持 SQL Server Express 作为源或目标。

更改未显示在目标中

AWS DMS 要求源SQL服务器数据库采用 “” 或 FULL “BULKLOGGED” 数据恢复模式，以便一致地捕获更改。不支持 SIMPLE “” 模型。

SIMPLE恢复模型记录允许用户恢复其数据库所需的最少信息。在发生检查点操作时，将自动截断所有非活动日志条目。

所有操作仍会被记录下来。但是，一旦出现检查点，日志就会自动截断。这种截断意味着日志可供重复使用，并且可以覆盖较旧的日志条目。当日志条目被覆盖时，无法捕获更改。这个问题就是为什么 AWS DMS 不支持SIMPLE数据恢复模式的原因。有关使用SQL服务器作为源的其他必备条件的信息，请参阅使用 Microsoft SQL 服务器数据库作为来源 AWS DMS。

跨分区映射的不一致表

在更改数据捕获 (CDC) 期间，如果具有特殊结构的表 AWS DMS 无法正常执行CDC迁移，则该表的迁移将暂停。并提示类似以下消息：


[SOURCE_CAPTURE ]W: Table is not uniformly mapped across partitions. Therefore - it is excluded from CDC (sqlserver_log_metadata.c:1415)
[SOURCE_CAPTURE ]I: Table has been mapped and registered for CDC. (sqlserver_log_metadata.c:835)

CDC在SQL服务器表上运行时， AWS DMS 解析SQL服务器日志。在每个 tlog 记录上， AWS DMS 解析包含更改期间插入、更新或删除的列数据的十六进制值。

要解析十六进制记录，请从SQL服务器系统表中 AWS DMS 读取表元数据。这些系统表用于标识特殊结构的表列是什么，并显示它们的一些内部属性，例如“xoffset”和“空位位置”。

AWS DMS 期望表的所有原始分区的元数据都相同。但是在某些情况下，特殊结构的表在所有分区上没有相同的元数据。在这些情况下， AWS DMS 可以暂停在该表CDC上，以避免错误地解析更改并向目标提供不正确的数据。解决方法如下所示：

  • 如果表具有集群索引，请执行索引重建。

  • 如果表没有集群索引，请向表中添加集群索引（稍后可以根据需要删除）。

排除 Amazon Redshift 中的问题

接下来，您可以了解如何解决 AWS DMS 与 Amazon Redshift 数据库一起使用的特定问题。

加载到不同 AWS 区域内的 Amazon Redshift 集群中

您无法加载到与 AWS DMS 复制实例不同 AWS 区域的 Amazon Redshift 集群。DMS要求您的复制实例和您的 Amazon Redshift 集群位于同一区域。

错误：关系“attrep_apply_exceptions”已存在

当将 Redshift 端点指定为 Postgre 端点时，通常会出现 “关系'awsdms_apply_exceptions'已经存在” 错误。SQL要纠正该问题，请修改终端节点并将目标引擎更改为“redshift”。

其名称以“awsdms_changes”开头的表出错

同时运行两个尝试将数据加载到同一个 Amazon Redshift 集群中的任务时，通常会出现名称以“awsdms_changes”开头的表错误消息。由于临时表的命名方式，当更新同一表时，并发任务会发生冲突。

在名字像 dms.awsdms_changes00000000000 这样的集群中看到表 XXXX

AWS DMS 从存储在 Amazon S3 中的文件加载数据时会创建临时表。这些临时表的名称的前缀均为 dms.awsdms_changes。这些表是必需的，因此 AWS DMS 可以在数据首次加载时和放入最终目标表之前存储数据。

使用 Amazon Redshift 所需的权限

要 AWS DMS 使用亚马逊 Redshift，您用于访问亚马逊 Redshift 的用户账户必须具有以下权限：

  • CRUD（选择、插入、更新、删除）

  • 批量加载

  • 创建、更改、删除（如果任务的定义要求）

要查看有关将 Amazon Redshift 作为目标的所有先决条件，请参阅将 Amazon Redshift 数据库作为 AWS Database Migration Service 目标。

我的 Amazon Aurora 问题疑难解答 SQL

接下来，您可以了解如何解决 AWS DMS 与 Amazon Aurora My SQL 数据库配合使用时遇到的问题。

错误：CHARACTERSETUTF8字段以 '' 结尾，由 '“' 行括起来，以 '\ n' 结尾

如果您使用 Amazon Aurora My SQL 作为目标，则可能会在日志中看到如下错误。这种类型的错误通常表示您将 ANSI _ QUOTES 作为 SQL _ MODE 参数的一部分。将 ANSI _ QUOTES 作为 SQL _ MODE 参数的一部分会导致双引号像引号一样处理，并且在运行任务时可能会产生问题。

要修复此错误，请QUOTES从 ANSI _ MODE 参数中删除 SQL _。


2016-11-02T14:23:48 [TARGET_LOAD ]E: Load data sql statement. load data local infile 
"/rdsdbdata/data/tasks/7XO4FJHCVON7TYTLQ6RX3CQHDU/data_files/4/LOAD000001DF.csv" into table 
`VOSPUSER`.`SANDBOX_SRC_FILE` CHARACTER SET UTF8 fields terminated by ',' 
enclosed by '"' lines terminated by '\n'( `SANDBOX_SRC_FILE_ID`,`SANDBOX_ID`,
`FILENAME`,`LOCAL_PATH`,`LINES_OF_CODE`,`INSERT_TS`,`MODIFIED_TS`,`MODIFIED_BY`,
`RECORD_VER`,`REF_GUID`,`PLATFORM_GENERATED`,`ANALYSIS_TYPE`,`SANITIZED`,`DYN_TYPE`,
`CRAWL_STATUS`,`ORIG_EXEC_UNIT_VER_ID` ) ; (provider_syntax_manager.c:2561)

对问题进行故障排除 SAP ASE

接下来，您可以了解如何解决 AWS DMS 与SAPASE数据库一起使用的特定问题。

错误：当 source 具有包含NULL值的复合唯一索引时，LOB列会有NULL值

当使用配置了允许NULL值的复合唯一索引的表SAPASE作为源时，在正在进行的复制过程中，LOB值可能不会迁移。这种行为通常是DMS复制实例客户端上 ANSI _默认NULL设置为 1 的结果。

为确保LOB字段正确迁移，'AnsiNull=0'请为任务的 AWS DMS 源端点添加终端节点设置。

IBMDb2 问题疑难解答

接下来，您可以了解如何解决 AWS DMS 与 IBM Db2 数据库配合使用的特定问题。

错误：不支持从时间戳恢复任务

对于正在进行的复制 (CDC)，如果您计划从特定时间戳开始复制，请将连接属性设置StartFromContext为所需的时间戳。有关更多信息，请参阅使用 Db2 LUW 时的端点设置。将 StartFromContext 设置为所需的时间戳可以防止出现以下问题：

Last Error Resume from timestamp is not supported Task error notification received from 
subtask 0, thread 0 [reptask/replicationtask.c:2822] [1020455] 'Start from timestamp' was blocked to prevent Replicate from 
scanning the log (to find the timestamp). When using IBM DB2 for LUW, 'Start from timestamp' is only supported if an actual 
change was captured by this Replicate task earlier to the specified timestamp.