本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
接下来,您可以找到当前和以前版本的 AWS Database Migration Service (AWS DMS) 的发行说明。
AWS DMS 当您为复制实例启用自动版本升级时,不会区分主要版本和次要版本。如果复制实例的版本已过时,DMS 会在维护时段内自动升级该版本。
请注意,要手动(使用 API 或 CLI)将复制实例的版本从 3.4.x 升级到 3.5.x,必须将 AllowMajorVersionUpgrade
参数设置为 true
。有关AllowMajorVersionUpgrade
参数的信息,请参阅 DMS API 文档 ModifyReplicationInstance中的。
注意
的当前默认引擎版本 AWS DMS 为 3.5.3。
下表显示活动 DMS 版本的以下日期:
该版本的发行日期
在此日期之后您无法使用该版本创建新实例
DMS 在此日期自动更新该版本的实例(EOL 日期)
版本 | 发行日期 | 无新实例日期 | EOL 日期 |
---|---|---|---|
3.6.0 | 2024年12月27日 | 2026年4月27日 | 2026年6月27日 |
3.5.4 | 2024年11月15日 | 2026年3月15日 | 2026年5月15日 |
3.5.3 | 2024 年 5 月 17 日 | 2025 年 8 月 31 日 | 2025 年 10 月 31 日 |
3.5.2 | 2023 年 10 月 29 日 | 2025 年 3 月 30 日 | 2025 年 4 月 29 日 |
3.5.1 | 2023 年 6 月 30 日 | 2024 年 11 月 30 日 | 2025年3月15日 |
3.4.7 | 2022 年 5 月 31 日 | 2024 年 9 月 30 日 | 2024 年 10 月 31 日 |
3.4.6 | 2021 年 11 月 30 日 | 2024 年 9 月 30 日 | 2024 年 10 月 31 日 |
注意
3.6.0 AWS DMS 版本目前已在亚太地区(悉尼):ap-southeast-2 区域推出。
AWS Database Migration Service 3.6.0 版本说明
新特征或增强功能 | 描述 |
---|---|
用于转换的新元数据变量 | 为转换规则引入了两个新的元数据变量:$AR_M_MODIFIED_SCHEMA 和$AR_M_MODIFIED_TABLE_NAME 。这些变量允许您创建更动态、更灵活的转换,以适应迁移过程中架构或表名的更改。 |
支持 UPSERT 错误处理模式下的 LOB 列复制 |
在使用 “未找到用于应用更新的记录:插入缺少的目标记录” 错误处理选项时,引入了对复制大型对象 (LOB) 列的支持。通过此增强功能,您现在可以准确地复制 LOB 列,从而确保完整和准确的数据复制。 |
AWS DMS 版本 3.6.0 包含以下已解决的问题:
解决的问题 | 描述 |
---|---|
PostgreSQL 内存问题 |
解决了使用 PostgreSQL 作为源代码时内存消耗过多的问题。修复了 Write-Ahead Log (WAL) 插槽会持续增长从而导致性能下降的问题。此更新增强了 PostgreSQL 迁移的稳定性和效率,特别是对于大型数据库或长时间运行的任务。 |
Oracle 角色大对象 (CLOB) 和字符 (CHAR) 问题 | 解决了无法正确复制包含非 ASCII 字符(例如特殊符号或国际字符)的宽字符大对象 (CLOB) 和字符 (CHAR) 值的问题。此修复可确保准确复制大型文本数据,减少错误并保持数据一致性。 |
微软 SQL Server 延迟不正确问题 | 解决了 Microsoft SQL Server 源端点错误地报告超高延迟的问题。此修复提供了更准确的性能指标,使您可以更好地监控和优化 SQL Server 迁移任务。 |
微软 SQL Server 元数据问题 | 修复了检索其他表元数据的冗余调用问题,该问题导致表的元数据更改后性能下降和延迟。这种优化提高了整体任务性能,特别是对于架构频繁更改的数据库。 |
微软 SQL Server 更新问题 |
修复了非标准更新操作导致任务意外终止而不生成错误消息的问题。此修复可确保正确处理此类操作,从而避免在复杂的更新场景中任务失败。 |
Batch Apply 大型对象 (LOB) 问题 | 修复了在 Batch Optimized Apply 模式下将删除操作和 INSERT 操作合并为单个 UPDATE 操作时,大型对象 (LOB) 查找无法找到记录的问题。此修复提高了涉及 LOB 数据和复杂数据操作语言 (DML) 操作的迁移期间的数据一致性和完整性。 |
转换任务启动问题 | 修复了涉及大量转换的任务在启动时会崩溃的问题。此修复可确保具有复杂转换逻辑的任务的稳定性和可靠性,使您能够自信地执行数据处理任务。 |
MySQL 数据定义语言 (DDL) 问题 | 修复了更改数据捕获 (CDC) 阶段无法捕获特殊格式的数据定义语言 (DDL) 更改的问题。此修复可确保正确复制所有架构更改,从而在整个迁移过程中保持源数据库和目标数据库之间的架构一致性。 |
AWS Database Migration Service 3.5.4 版本说明
新特征或增强功能 | 描述 |
---|---|
数据掩蔽 | 引入了数据屏蔽,允许使用列级别的数字随机化、掩码或哈希选项来转换敏感数据。 |
增强的数据验证性能 | 引入了增强的数据验证性能,允许在满载期间更快地处理大型数据集,以及跨特定迁移路径的 CDC 迁移任务。 |
PostgreSQL 源代码统一码问题 | 修复了 PostgreSQL 源代码在使用筛选时观察到迁移性能下降的问题。引入了 disableUnicodeSource Filter ECA 来控制这种行为。 |
对增强吞吐量功能的转换支持 | 引入对增强吞吐量功能的所有转换规则的支持。 |
MySQL 迁移性能问题 | 修复了 MySQL 目标的一个问题,即除之外的 UTF8MB4目标排序规则的迁移性能会很差。引入了新的端点设置来控制此行为:“temporaryTableCollation”。 |
AWS DMS 版本 3.5.4 包括以下已解决的问题:
解决的问题 | 描述 |
---|---|
PostgreSQL,test_decoding 问题 | 修复了 PostgreSQL 源代码在使用 test_decoding 插件时无法复制某些事件的问题。 |
MySQL 到 Redshift 的时间戳问题 | 修复了 MySQL 到 Redshift 迁移时无法在目标上正确定义时间戳列的问题。 |
甲骨文 2024 年 7 月 PSU 问题 | 修复了使用二进制读取器的 Oracle 源代码中的一个问题,即在应用 Oracle 2024 年 7 月 PSU 后,DMS 任务会崩溃。 |
MySQL 密钥管理器问题 | 修复了 MySQL 端点在使用密钥管理器时凭据会损坏的问题。 |
亚马逊 DocumentDB/MongoDB 数据记录处理问题 | 修复了 Amazon Documentdb/MongoDB 终端节点的一个问题,即某些记录会被发送到目标两次,从而导致密钥重复异常和任务失败。 AWS DMS |
与 NoSQL 迁移问题有关 | 修复了 RDS for SQL Server 到 NoSQL 迁移时由于不正确的 PK 处理而导致文档结构不正确的问题。 |
Oracle 终端节点存在数据验证问题 | 修复了 Oracle 源的一个问题,即数据验证会报告空或空 LOBs的误报。 |
Babelfish 目标的唯一标识符 PK 问题。 | 修复了PG - Babelfish 目标在复制 PK 定义为 uniqueidentifier 的表时 AWS DMS 任务会失败的问题。 |
MAZ 的 PostgreSQL 源代码问题。 | 修复了 PostgreSQL 源代码的问题, AWS DMS 其中 MAZ 故障转移会导致致命的任务失败。 AWS DMS |
列顺序问题 | 修复了当源和目标之间的列顺序不同时,无法正确复制 LOB 数据的问题。 |
内部 AWS DMS 数据库争用问题 | 修复了内部 DMS 数据库由于内部 AWS DMS 数据库并发问题导致 AWS DMS 任务失败的问题。 |
内部 AWS DMS 数据库结构问题 | 修复了内部 AWS DMS 数据库由于缺少某些内部数据库对象而导致 AWS DMS 任务失败的问题。 |
Oracle 源数据验证问题 | 修复了 Oracle 源的一个问题,即某些罕见类型的复制事件的数据验证会返回误报。 |
unicode 数据类型的数据验证问题 | 修复了数据验证功能的一个问题,即某些 unicode 数据类型无法正确比较,从而导致误报。 |
Parquet 目标时间戳问题 | 修复了 parquet 目标的问题,其中零时间戳被复制为 null。 |
Babelfish 的目标 GeoSpacial 数据类型问题。 | 修复了 Babelfish 目标不支持 GeoSpacial 数据类型的问题。 |
Amazon S3 瞄准了疾病预防控制中心期间添加列的问题 | 修复了 Amazon S3 目标的一个问题,即启用之前的图像设置后,无法正确处理新增的列。 |
SQL Server 202 CU12 2 | 修复了 SQL Server 源 AWS DMS 无法在使用 SQL Server 2022 及 CU12 以上版本的源上自动实现 MS 复制先决条件的问题。 |
PostgreSQL 布尔值问题 | 修复了 PostgreSQL 源中布尔数据类型在设置为且使用 pglogical 插件MapBooleanAsBoolean true 时无法正确迁移的问题。 |
TaskrecoveryTableEnabled 设置问题 |
修复了该TaskrecoveryTableEnabled 设置的一个问题,即当设置为 true 时,任务停止时任务会失败。 AWS DMS |
使用TaskrecoveryTableEnabled 设置进行数据复制 |
修复了启用该TaskrecoveryTableEnabled 设置后,某些事务会被复制两次的问题。 |
MySQL 5.5 源代码问题 | 修复了 MySQL 源代码由于无法BINLOG 从 MySQL v5.5 读取而导致 AWS DMS 任务失败的问题。 |
AWS Database Migration Service 3.5.3 发行说明
新特征或增强功能 | 描述 |
---|---|
增强了 PostgreSQL 源端点以支持 Babelfish | AWS DMS 增强了其 PostgreSQL 源端点以支持 Babelfish 数据类型。有关更多信息,请参阅 使用 Postgre SQL 数据库作为源 AWS DMS。 |
支持将 S3 Parquet 作为源 | AWS DMS 支持 S3 Parquet 作为来源。有关更多信息,请参阅 将 Amazon S3 作为 AWS DMS 的源 |
支持 PostgreSQL 16.x | AWS DMS 支持 PostgreSQL 版本 16.x。有关更多信息,请参阅使用 Postgre SQL 数据库作为源 AWS DMS 和将 PostgreSQL 数据库作为 AWS Database Migration Service 的目标。 |
提高了 Oracle 到 Amazon Redshift 的完全加载迁移的吞吐量 | AWS DMS 对于从 Oracle 到 Amazon Redshift 的满负荷迁移,Serverless 显著提高了吞吐量性能。有关更多信息,请参阅 提高了 Oracle 到 Amazon Redshift 的完全加载迁移的吞吐量。 |
支持 RDS for SQL Server 日志备份 | AWS DMS 支持从 RDS for SQL Server 源的事务日志备份中进行持续复制。此功能仅适用于从 RDS for SQL Server 读取的新的和修改过的 AWS DMS 源端点。有关更多信息,请参阅 在云 SQL Server 数据库实例上设置持续复制。 |
AWS DMS 版本 3.5.3 包括以下已解决的问题:
解决的问题 | 描述 |
---|---|
数据验证覆盖函数 | 修复了在表映射中 AWS DMS 将规则操作设置为时,数据验证功能不支持override-validation-function 源筛选的问题。 |
MySQL 源 CDC 错误 | 修复了 MySQL 作为源代码时,CDC 迁移会因 UTF16 编码而失败的问题。 |
数据验证排序规则差异 | 修复了数据验证功能 AWS DMS 在使用列筛选时无法正确应用HandleCollationDiff 任务设置的问题。 |
数据验证任务挂起。 | 修复了数据验证功能中 AWS DMS 任务会挂起并显示 “target 为空” 错误的问题。 |
PostgreSQL 到 PostgreSQL 复制中的任务失败。 | 修复了 PostgreSQL 到 PostgreSQL 迁移的问题, AWS DMS 即在 CDC 复制期间,向目标插入 LOB 数据时,任务会失败。 |
PostgreSQL 作为源时数据丢失 | 修复了 PostgreSQL 作为源时的一个问题,即在某些边缘情况下会发生数据丢失。 |
MySQL 5.5 源 CDC 错误 | 修复了 MySQL 作为源时的一个问题,即在使用 MySQL 版本 5.5 时 CDC 复制会失败。 |
Oracle 源 IOT 表问题。 | 修复了在所有列上启用补充日志记录的情况下,Oracle 作为源 AWS DMS 无法正确复制物联网表UPDATE 语句的问题。 |
MySQL 源 LOB | 修复了 MySQL 到 Amazon Redshift 迁移时由于 LOBs 超出亚马逊 Redshift 允许的最大大小而导致 AWS DMS 任务失败的问题。 |
SkipLobColumns 验证问题 |
修复了数据验证功能的一个问题,即SkipLobColumns = true 当主键位于源表的最后一列时, AWS DMS 任务会失败。 |
唯一键为 null 时跳过验证 |
修复了数据验证功能 AWS DMS 无法正确跳过唯一键为空的行的问题。 |
针对 Oracle COLLATE 运算符的数据验证改进。 |
修复了数据验证特征的一个问题,即在 12.2 之前的 Oracle 版本上,验证会因语法错误而失败。 |
完全加载期间的错误处理 | 修复了 PostgreSQL 作为目标时的一个问题,即由于无效数据导致表错误后,任务在完全加载阶段挂起。 |
重新验证 CDC 仅验证任务 | 增强了数据验证特征,允许对 CDC 仅验证任务进行重新验证。 |
S3 作为目标 CdcMaxBatchInterval Out of Memory 问题 |
修复了 S3 作为目标的问题,即在 CdcMaxBatchInterval 设置后出现内存不足情况时, AWS DMS 任务会失败。 |
Oracle 源驱动程序 | 已将 AWS DMS Oracle 源驱动程序从 v12.2 升级到 19.18 版本。 |
SQL Server 源的 LOB 截断警告 | 增强了 SQL Server 作为源的日志记录,在 CDC 期间显示 LOB 截断警告。 |
Oracle Binary Reader 增强 | 增强了 Oracle 源 Binary Reader 以支持以下内容:
|
中断后跳过缓存更改的问题 | 修复了在应用缓存更改时出现意外中断而跳过这些更改的问题。 |
Mon AWS DMS goDB 交换文件问题 | 修复了 MongoDB 源的一个问题,即当 AWS DMS 存在交换文件 AWS DMS 时,升级 AWS DMS 后任务将无法恢复。 |
MySQL 到 Amazon Redshift 的 JSON 迁移问题。 | 修复了 MySQL 源代码在启用 Batch Apply 的情况下无法正确处理 JSON 数据类型的问题。 |
SQL Server 到 APG 迁移的数据验证问题。 | 修复了 SQL Server 到 PostgreSQL 迁移时出现的一个问题,即在某些情况下,数据验证会报告误报。 |
EmptyAsNull 亚马逊 Redshift 的 ECA 问题瞄准了疾病预防控制中心 | 修复了 Amazon Redshift 目标的 EmptyAsNull ECA 无法正常工作的问题。 |
SQL Server 源代码的日志增强功能 | 增强了 SQL Server 源的日志记录,以包含存储单元值。 |
内存泄漏问题 | 修复了使用 CSV 文件加载数据 AWS DMS 任务的目标显示内存泄漏的问题。 |
亚马逊 S3 的目标问题 | 修复了 Amazon S3 目标在启用 cdcInsertAndUpdateOnly 设置时未遵守 CdcMaxBatchInterval 和 CdcMinFileSize 未被遵守的问题。 |
Kafka 目标的日志增强功能 | 增强了 Kafka 目标的日志记录 |
Oracle 源代码的日志增强功能。 | 使用二进制读取器增强了 Oracle 源代码的日志记录,可以正确指示由于缺少主键而跳过了表。 |
SQL Server 源代码的日志增强功能 | 增强了AlwaysOn 配置中对 SQL Server 源的日志记录,以正确指示缺少的权限。 |
针对禁用 DDL 的迁移的日志增强功能 | 增强了在禁用 DDL 复制的情况下迁移的日志记录,以指示在外部修改目标表结构后出现意外的目标表结构。 AWS DMS |
Db2 目标问题 | 修复了 Db2 目标在启用 AWS DMS 状态表时任务会失败的问题。 |
MongoDB /亚马逊 DocumentDB Secret Manger 问题。 | 修复了 MongoDB/Amazon DocumentDB 终端节点无法从 Secret Manager 检索凭证的问题,该问题会导致错误。 |
MongoDB /亚马逊 DocumentDB 端点问题 | 修复了 MongoDB/Amazon DocumentDB 在复制特定事件序列时启用后任务会失败 ParallelApply 的问题。 |
亚马逊 Redshift 目标的日志增强功能 | 增强了 Amazon Redshift 目标的日志记录,在默认日志级别中包含更多详细信息。 |
亚马逊 S3 目标任务崩溃问题 | 修复了 Amazon S3 目标的一个问题,即启用后,DMS 任务在收到更改表 DDL 后GlueCatalogGeneration 会崩溃。 |
数据验证问题 | 修复了数据验证功能中NUL (0x00) 字符验证失败的问题。 |
Babelsifh 端点问题 | 修复了 babelfish 端点的一个问题,即大小写混合的表名会被暂停。 |
亚马逊 S3 源码问题 | 修复了 Amazon S3 源中由于文件名验证问题而无法处理文件的问题。 |
Db2 LUC 源代码与选择规则有关的问题。 | 修复了 Db2 LUW 源的一个问题,即选择规则中的 “表类型” 选项被忽略。 |
亚马逊 Redshift 瞄准了数据丢失的问题。 | 修复了 Amazon Redshift 目标的一个问题,即在某些条件下 >0 ParallelLoadThreads 时会发生数据丢失。 |
亚马逊 Redshift 目标的数据验证增强功能 | 增强了 Amazon Redshift 目标的数据验证功能以支持HandleCollationDiff 设置。 |
亚马逊 S3 目标数据验证问题 | 修复了 Amazon S3 目标数据验证的问题,即当表中除了 PK 之外没有其他列时,验证会失败。 |
数据验证 CloudWatch 指标 | 修复了数据验证功能中缺少用于验证的 CloudWatch 指标的问题,这需要很短的时间才能完成。 |
数据验证重新验证选项不可用 | 修复了数据验证功能在某些情况下无法使用重新验证选项的问题。 |
大额交易复制问题 | 修复了在某些条件下每笔交易的最大事件数限制为 201,326,592 个的问题。 |
MySQL 源数据丢失问题 | 修复了 MySQL 到 Amazon S3 迁移的问题,即在 “添加列” DDL 之后执行的第一个 DML 会丢失,从而导致数据丢失。 |
批量出现内存泄漏问题 | 修复了在某些条件下可能出现的批量应用功能的内存泄漏问题。 |
DMS 任务启动问题 | 修复了 AWS DMS 任务启动需要很长时间并且永远无法完成的问题。 |
MySQL 源数据验证问题。 | 修复了 MySQL 源数据验证中无法正确处理自动递增列的问题。 |
Oracle 端点 Kerberos 身份验证问题 | 修复了 Oracle 终端节点在使用 Kerberos 身份验证时无法连接的问题。 |
Babelfish 目标唯一标识符问题 | 修复了 Babelfish 目标的一个问题,即主键定义为唯一标识符的表的复制会失败。 |
PostgreSQL 源缺少数据问题 | 修复了 PostgreSQL 源中由于复制槽中的未知事件而导致数据丢失的问题。 |
Unicode 数据类型的数据验证问题。 | 修复了数据验证功能的一个问题,即某些 unicode 数据类型无法正确比较,从而导致误报。 |
Redshift 目标时间戳列 | 修复了 ColumnType 定义中时间戳列类型设置不正确的问题 |
S3 目标时间戳转换 | 通过处理零时间戳值修复了 S3 目标 parquet 文件格式的问题(这些值应在目标上转换为 NULL) |
MySQL 源和目标 LOB 列顺序 | 修复了 MySQL 源和目标迁移 Lob 列时出现的问题。现在,在决定我们需要将 LOB 数据写入哪一列时,DMS 使用目标表中的列 ID 而不是源表 |
Babelfish 瞄准 Datetime 数据类型 | 修复了 Babelfish 目标的一个问题,即我们限制了日期时间和时间类型的分数秒精度,以解决舍入错误。 |
MySQL 5.5 任务在持续复制期间读取 binglog 时失败 (CDC)。 | 修复了 MySQL 5.5 源代码中的一个问题,我们添加了重试机制,以防止 DMS 在进行复制 (CDC) 期间无法读取二进制日志事件时任务失败。 |
使用测试解码插件时 PostgreSQL 源代码段错误和内存泄漏问题。 | 修复了 PostgreSQL 源代码中的一个问题,即在使用 Postgres 的 test_decoding 插件时,某些正在进行的复制 (CDC) 事件无法正确解析。 |
docoumentDB Target 并行应用设置 | 修复了使用并行应用设置的 DocumentDB 目标存在的问题,该问题导致在使用此功能时无法使用多个线程。 |
甲骨文 HCC 压缩直接插入 | 修复了带有并行 DML 提示的 Oracle HCC 压缩 DIRECT INSERT 导致数据丢失和重复的问题。 |
甲骨文二进制读取器问题 2024 年 7 月 CPU | 修复了由于 Oracle 2024 年 7 月 CPU 导致 Oracle source、带二进制读取器的 DMS 任务失败的问题 |
Babebfish 目标 UUID 主键 | 修复了 Babelfish 目标的一个问题,即在复制主键定义为 UUID 的表时,DMS 任务失败。 |
DMS 持续复制 (CDC) 任务失败 TaskRecoveryTableEnabled | 修复了TaskRecoveryTableEnabled 启用的问题,即目标连接终止awsdms_txn_state 后,DMS 会尝试更新目标系统表。 |
PostgreSQL 源重复的记录 | 修复了 PostgreSQL 源代码中的一个问题,即启用 TaskrecoveryTableEnabled 该设置后,某些事务会被复制两次。 |
DMS S3 源/目标复制问题 | 修复了 S3 源到 S3 目标的问题,其中 DMS 任务在满负荷和持续复制期间无法复制数据。 |
正在进行的复制期间 DMS S3 源任务失败 | 修复了 S3 源的一个问题,即在 DMS 版本 3.5.3 的持续复制过程中 DMS 任务设置失败 |
DMS DB2 来源 CcsidMapping ECA | 修复了 sourc DB2 e 的问题 CcsidMapping,当代码页为 0 并且数据已正确迁移时,CCSID 映射 ECA 现在可以正确应用于任务 |
DMS Aurora PostgreSQL 到 Redshift 无服务器布尔值复制。 | 修复了 DMS 从 Aurora PostgreSQL 迁移到 Redshift Serverless 时遇到布尔值问题的问题。 |
AWS Database Migration Service 3.5.2 版本说明
新特征或增强功能 | 描述 |
---|---|
亚马逊 Redshift 数据验证 | AWS DMS 现在支持验证亚马逊 Redshift 目标中的数据。 |
支持将 Microsoft SQL Server 版本 2022 作为源和目标。 | AWS DMS 现在支持使用微软 SQL Server 版本 2022 作为源和目标。 |
将 IBM Db2 LUW 作为目标 | AWS DMS 现在支持 IBM Db2 LUW 作为目标。现在 AWS DMS,你可以使用 IBM Db2 LUW 执行从 IBM Db2 LUW 到 IBM Db2 LUW 的实时迁移。 |
AWS DMS 版本 3.5.2 包括以下已解决的问题:
解决的问题 | 描述 |
---|---|
IBM Db2 目标分段完全加载 | 增加了对分段完全加载的支持并将 IBM Db2 作为目标。 |
将 Amazon Timestream 作为目标设置 | 增强了对将 Timestream 作为目标时的无效时间戳设置和不支持的表操作的处理。 |
使用列筛选条件导致任务崩溃 | 修复了使用列上的筛选条件(DMS 使用转换规则动态添加)时任务崩溃的问题。 |
日志记录交易交换文件读取 | 添加了日志记录以显示 DMS 何时从事务交换文件中读取数据。 |
S3 作为目标且 CdcInsertsAndUpdates |
修复了 S3 作为目标时的一个问题,即当 CdcInsertsAndUpdates 为 true 且 PreserveTransactions 为 true 时任务会崩溃。 |
源筛选条件负值运算符 | 修复了一个问题,即如果同一列定义了转换规则,则源筛选条件运算符在设置为负值运算符时行为不正确。 |
添加了 DMS 暂停从源端读取时的日志记录 | 增强了日志记录功能,以显示 DMS 何时临时暂停从源端读取以提高性能。 |
带有转义字符的源筛选条件 | 修复了源筛选条件的一个问题,即在 CDC 期间,DMS 会将转义字符应用于新创建的表。 |
PostgreSQL 作为目标,不正确复制的删除 | 修复了 PostgreSQL 作为目标时的一个问题,即 DMS 会将删除作为空值进行复制。 |
Oracle 作为源时日志记录改进 | 增强了 Oracle 作为源时的日志记录,可删除多余的错误代码。 |
改进了 XMLTYPE 限制的日志记录 | 改进了 Oracle 作为源时的日志记录,以显示 DMS 缺少对 XMLTYPE 数据类型的完整 LOB 模式的支持。 |
MySQL 数据丢失 | 修复了 MySQL 作为目标时的一个问题,即损坏的列元数据可能导致任务崩溃或数据丢失。 |
应用于新列的筛选条件 | 修复了完全加载期间的一个问题,即 DMS 会忽略转换规则添加到新列的筛选条件。 |
S3 作为目标:验证问题 | 修复了 S3 作为目标时的一个问题,即在迁移具有不同验证分区定义的多个表时,数据验证会失败。 |
仅 CDC 任务崩溃 | 修复了仅 CDC 任务的一个问题,即当 TaskRecoveryTableEnabled 为 true 时,任务会崩溃。 |
MySQL 到 MariaDB 不兼容的排序规则 | 修复了 MySQL 迁移到 MariaDB 时的一个问题,即 DMS 无法使用 tf8mb4_0900_ai_ci 排序规则迁移 MySQL v8 表。 |
BatchApplyEnabled 时任务崩溃 |
修复了“批量应用”特征的一个问题,即在某些条件下任务会失败。 |
Amazon DocumentDB 中的非 UTF-8 字符 | 为 Amazon DocumentDB 端点添加了对非 UTF-8 字符的支持。 |
“批量应用”任务崩溃 | 修复了“批量应用”特征的一个问题,即在复制大型事务时,DMS 任务会崩溃。 |
Db2 事务回滚处理 | 修复了 Db2 作为源时的一个问题,即尽管已在源上回滚,但 DMS 仍会将 INSERT 复制到目标。 |
使用源筛选条件进行验证 | 修复了验证不符合源筛选条件的问题。 |
Mon AWS DMS goDB 交换文件问题 | 修复了 MongoDB 源存在交换文件 AWS DMS 时升级 AWS DMS 后 DMS 任务无法恢复的问题。 |
MySQL 到 Amazon Redshift 的 JSON 迁移问题。 | 修复了 MySQL 源代码在启用 Batch Apply 的情况下无法正确处理 JSON 数据类型的问题。 |
MySQL 5.5 源 CDC 错误 | 修复了 MySQL 源代码中使用 MySQL 版本 5.5 时CDC复制失败的问题。 |
LOB 迁移问题 | 修复了 LOB 迁移时 AWS DMS 任务在处理某些事件类型时会崩溃的问题。 |
数据验证问题 | 修复了数据验证功能的一个问题,即仅限验证的任务会挂在某些 DDL 事件上。 |
筛选器的数据验证问题。 | 修复了数据验证功能存在筛选器时未应用该HandleCollationDiff 设置的问题 |
MySQL SourceEnum 编码问题。 | 修复了 MySQL 源代码中未正确迁移 UTF-16 编码的枚举值的问题。 |
SQL Server 源的 LOB 截断警告 | 增强了 SQL Server 源的日志记录,可在 CDC 期间显示有关 LOB 截断的警告。 |
SQL Server 到 APG 迁移的数据验证问题。 | 修复了 SQL Server 到 PostgreSQL 迁移时出现的一个问题,即在某些情况下,数据验证会报告误报。 |
EmptyAsNull 亚马逊 Redshift 的 ECA 问题瞄准了疾病预防控制中心 |
修复了 Amazon Redshift 目标的 EmptyAsNull ECA 无法正常工作的问题。 |
SQL Server 源代码的日志增强功能 | 增强了 SQL Server 源的日志记录,以包含存储单元值。 |
内存泄漏问题 | 修复了使用 CSV 文件加载数据 AWS DMS 任务的目标显示内存泄漏的问题。 |
亚马逊 S3 的目标问题 | 修复了 Amazon S3 目标在启用cdcInsertAndUpdateOnly 设置时未遵守 CdcMaxBatchInterval 和CdcMinFileSize 未被遵守的问题。 |
Kafka 目标的日志增强功能 | 增强了 Kafka 目标的日志记录 |
Oracle 源代码的日志增强功能。 | 使用二进制读取器增强了 Oracle 源代码的日志记录,可以正确指示由于缺少主键而跳过了表。 |
SQL Server 源代码的日志增强功能 | 增强了AlwaysOn 配置中对 SQL Server 源的日志记录,以正确指示缺少的权限。 |
针对禁用 DDL 的迁移的日志增强功能 | 增强了在禁用 DDL 复制的情况下迁移的日志记录,以指示在外部修改目标表结构后出现意外的目标表结构。 AWS DMS |
Db2 目标问题 | 修复了 Db2 目标在启用 DMS 状态表时任务会失败的问题。 |
MongoDB /亚马逊 DocumentDB Secret Manger 问题。 | 修复了 MongoDB/Amazon DocumentDB 终端节点无法从 Secret Manager 检索凭证的问题,该问题会导致错误。 |
MongoDB /亚马逊 DocumentDB 端点问题 | 修复了 MongoDB/Amazon DocumentDB 在复制特定事件序列时启用后任务会失败 ParallelApply 的问题。 |
MongoDB /亚马逊 DocumentDB 数据验证问题 | 修复了 MongoDB/Amazon DocumentDB 数据验证中检测到数据差异后会出现错误的问题。 |
亚马逊 Redshift 目标的日志增强功能 | 增强了 Amazon Redshift 目标的日志记录,在默认日志级别中包含更多详细信息。 |
亚马逊 S3 目标任务崩溃问题 | FIxed Amazon S3 目标存在一个问题,即启用后 AWS DMS 任务在收到更改表 DDL 后GlueCatalogGeneration 会崩溃。 |
数据验证问题 | 修复了数据验证功能中NUL (0x00) 字符验证失败的问题。 |
Babelsifh 端点问题 | 修复了 babelfish 端点的一个问题,即大小写混合的表名会被暂停。 |
Db2 LUC 源代码与选择规则有关的问题。 | 修复了 Db2 LUW 源的一个问题,即选择规则中的 “表类型” 选项被忽略。 |
亚马逊 Redshift 瞄准了数据丢失的问题。 | 修复了 Amazon Redshift 目标的一个问题,即在某些条件下 >0 ParallelLoadThreads 时会发生数据丢失。 |
亚马逊 Redshift 目标的数据验证增强功能 | 增强了 Amazon Redshift 目标的数据验证功能以支持HandleCollationDiff 设置。 |
亚马逊 S3 目标数据验证问题 | 修复了 Amazon S3 目标数据验证的问题,即当表中除了 PK 之外没有其他列时,验证会失败。 |
数据验证 CloudWatch 指标 | 修复了数据验证功能中缺少用于验证的 CloudWatch 指标的问题,这需要很短的时间才能完成。 |
数据验证重新验证选项不可用 | 修复了数据验证功能在某些情况下无法使用重新验证选项的问题。 |
大额交易复制问题 | 修复了在某些条件下每笔交易的最大事件数限制为 201,326,592 个的问题。 |
表格重新加载问题 | 修复了当至少一个表无效时,多个表的重新加载被取消的问题。 |
MySQL 源数据丢失问题 | 修复了 MySQL 到 S3 迁移的问题,即在 “添加列” DDL 之后执行的第一个 DML 会丢失,从而导致数据丢失。 |
批量出现内存泄漏问题 | 修复了在某些条件下可能出现的批量应用功能的内存泄漏问题。 |
AWS DMS 任务启动问题 | 修复了 AWS DMS 任务启动需要很长时间并且永远无法完成的问题。 |
PostgreSQL 源缺少数据问题 | 修复了 PostgreSQL 源中由于复制槽中的未知事件而导致数据丢失的问题。 |
MySQL 源和目标 LOB 列顺序 | 修复了 MySQL 源和目标迁移 Lob 列时出现的问题。现在,在决定我们需要将 LOB 数据写入哪一列时,DMS 使用目标表中的列 ID 而不是源表。 |
MySQL 5.5 任务在持续复制期间读取 binglog 时失败 (CDC)。 | 修复了 MySQL 5.5 Source 的一个问题,添加了重试机制以防止 DMS 在持续复制 (CDC) 期间无法读取二进制日志事件时任务失败。 |
使用测试解码插件时 PostgreSQL 源代码段错误和内存泄漏问题。 |
修复了 PostgreSQL Source 的一个问题,即在使用 Postgres 的 test_decoding 插件时,某些正在进行的复制 (CDC) 事件无法正确解析。 |
docoumentDB Target 并行应用设置 | 修复了使用并行应用设置的 DocumentDB 目标存在的问题,该问题导致在使用此功能时无法使用多个线程。 |
甲骨文 HCC 压缩直接插入 | 修复了带有并行 DML 提示的 Oracle HCC 压缩 DIRECT INSERT 导致数据丢失和重复的问题。 |
甲骨文二进制读取器问题 2024 年 7 月 CPU | 修复了 Oracle Source 的一个问题,二进制读取器的 DMS 任务由于甲骨文 2024 年 7 月 CPU 而失败。 |
DMS 持续复制 (CDC) 任务失败 TaskRecoveryTableEnabled | 修复了TaskRecoveryTableEnabled 启用的问题,即目标连接终止awsdms_txn_state 后,DMS 会尝试更新目标系统表。 |
PostgreSQL 源重复的记录 | 修复了 PostgreSQL 源代码中的一个问题,即启用TaskrecoveryTableEnabled 该设置后,某些事务会被复制两次。 |
DMS S3 源/目标复制问题 | 修复了 S3 源到 S3 目标的问题,其中 DMS 任务在满负荷和持续复制期间无法复制数据。 |
DMS DB2 来源 CcsidMapping ECA | 修复了 sourc DB2 e 的问题 CcsidMapping,当代码页为 0 并且数据已正确迁移时,CCSID 映射 ECA 现在可以正确应用于任务。 |
DMS Aurora PostgreSQL 到 Redshift 无服务器布尔值复制。 | 修复了 DMS 从 Aurora PostgreSQL 迁移到 Redshift Serverless 时遇到布尔值问题的问题。 |
AWS Database Migration Service 3.5.1 发行说明
直播目标对大数值的处理方式发生了变化
在 3.5.1 AWS DMS 版本中,将数据流式传输到 Kafka 和 Kinesis 等目标时,处理大整数和高精度数值的方式发生了变化。具体而言, AWS DMS 更改了其内部数据类型表示形式,将这些值当作INT64
代替处理INT8
。这种转变可能会导致流媒体端点上的数据格式不同,尤其是在值超过限制时INT8
。因此,当流式传输到 Kafka 和 Kinesis 等目的地时,这些数字类型的表示形式可能与之前的格式不同,这可能会影响消耗来自这些目标的数据的下游系统和进程。
变更摘要:
在以前的版本(例如 3.4.7/3.4.6)中,较大的整数值表示为整数。
从版本 3.5.1 开始,这些值可能会以科学计数法(例如
7.88129934789981E15
)出现,这可能会导致精度和格式上的差异。
受影响的数据类型
当流式传输到 Kafka 和 Kinesis 等端点时,最近的变化会影响几种数字类型的表示形式。受影响的类型有:
大整数类型(例如
bigint
)浮点类型 ()
FLOAT, DOUBLE
高精度十进制类型 (
DECIMAL, NUMERIC
)
受影响的场景:
满负荷迁移到流媒体目标
将数据采集 (CDC) 更改为流媒体目标
这一变化特别影响流媒体端点,例如Kafka和Kinesis,而非流媒体目标则不受影响。
为了缓解这种变化,您可以实现恢复到之前格式的数据类型转换,将大数表示为整数。但是,需要注意的是,这种解决方法可能不适用于所有场景,因为它可能会带来限制或兼容性问题。
建议
在部署 AWS DMS 版本 3.5.1 或更高版本之前,在非生产环境中测试您的特定用例,以确定并解决此更改的任何影响。
如果适用,受影响的客户可以实施 change-data-type转换变通方案,将大数恢复为之前的整数格式。但是,这种方法可能并不适合所有场景。
我们正在审查这种行为,以确保在未来的版本中,跨端点的数据类型处理保持一致。
下表显示了 AWS Database Migration Service (AWS DMS)版本 3.5.1 中引入的新功能和增强功能。
新特征或增强功能 | 描述 |
---|---|
支持 PostgreSQL 15.x | AWS DMS 版本 3.5.1 支持 PostgreSQL 版本 15.x。有关更多信息,请参阅使用 Postgre SQL 作为来源 和将 PostgreSQL 作为目标。 |
支持带有分片集合的 Amazon DocumentDB 弹性集群 | AWS DMS 版本 3.5.1 支持带有分片集合的亚马逊 DocumentDB 弹性集群。有关更多信息,请参阅 使用亚马逊 DocumentDB 作为 AWS 数据库迁移服务的目标。 |
亚马逊 Redshift 无服务器作为目标 | 支持使用亚马逊 Redshift Serverless 作为目标终端节点。有关更多信息,请参阅 将 Amazon Redshift 数据库作为 AWS Database Migration Service目标。 |
Babelfish 端点设置 | 增强了 PostgreSQL 目标端点设置,用于提供 Babelfish 支持。有关更多信息,请参阅 将 PostgreSQL 数据库作为 AWS Database Migration Service 的目标。 |
Oracle 源未完成事务 | AWS DMS 3.5.1 改进了从 Oracle 来源的 “起始位置” 启动仅限 CDC 的任务时处理未结交易的方法。有关更多信息,请参阅 使用 Oracle 作为来源时的终端节点设置 AWS DMS 部分中的 OpenTransactionWindow 。 |
将 Amazon Timestream 作为目标 | 支持将 Amazon Timestream 作为目标端点。有关更多信息,请参阅 将 Amazon Timestream 作为 AWS Database Migration Service 的目标。 |
AWS DMS 版本 3.5.1 包括以下已解决的问题:
解决的问题 | 描述 |
---|---|
大数值处理更改 | 直播目标上大数值的表示方式已更新。有关潜在影响的详细信息,请查看 “处理流媒体目标中的大数值” 文档。 |
Oracle 作为源时,非活动会话数量不断增加 | 修复了 Oracle 源的一个问题,即仅 CDC 任务的非活动会话数量不断增加,从而导致以下异常:ORA-00020: maximum number
of processes exceeded on the source database 。 |
将 UPDATE 更改复制到 DocumentDB | 修复了 DocumentDB 作为目标时的一个问题,即在某些情况下无法正确复制 UPDATE 语句。 |
仅验证任务 | 改进了数据验证特征的错误处理,当对仅验证任务禁用数据验证时,可以适当地取消任务。 |
连接终止后复制 Amazon Redshift | 修复了 Amazon Redshift 目标的一个问题,即在连接终止后目标ParallelApplyThreads 设置为大于零时,DMS 任务不会重试对目标应用更改,这会导致数据丢失。 |
MySQL 文本到 mediumtext 的复制 | 修复了在完整 LOB 模式下将 mediumtext 数据类型从 MySQL 复制到 MySQL 的问题。 |
无法使用轮换的密钥复制 CDC 任务 | 修复了 DMS 任务在将 BatchApplyEnabled 设置为 true 时的一个问题,即在 Secrets Manager 轮换密码后,DMS 将停止复制数据。 |
MongoDB/DocumentDB 分段问题 | 修复了 MongoDB/DocDB 源的一个问题,即当主键列包含较大的值时,范围分段无法正常工作。 |
无界数值的 Oracle 数据验证 | 修复了 Oracle 目标的一个问题,即在数据验证期间,DMS 会将无界数据类型 NUMERIC 的值识别为 STRING 。 |
SQL Server 数据验证 | 修复了 SQL Server 端点的一个问题,即 DMS 数据验证构造了一个无效的 SQL 语句。 |
MongoDB 自动分段 | 改进了在将 MongoDB 作为源时,从中并行迁移文档时自动对数据分区的功能。 |
Amazon S3 Apache Parquet 格式 | 修复了一个问题,以便使用 Python 和 Apache Arrow C++ 查看以 S3 为目标写入的 Apache Parquet 文件。 |
PostgreSQL 作为源时的 DDL 处理 | 修复了 PostgreSQL 作为源时未正确忽略不支持的 DDL 操作的问题。 |
PostgreSQL timestamptz 数据错误 |
修复了 PostgreSQL 迁移到 PostgreSQL 时出现的问题,在该问题中,CDC 期间启用了批量应用时,带有时区数据的时间戳无法正确迁移。 |
Oracle 到 PostgreSQL 的验证失败 | 修复了 Oracle 迁移到 PostgreSQL 时,NUMERIC(38,30) 数据类型的数据验证失败的问题。 |
Oracle 扩展数据类型错误 | 修复了 Oracle 源中扩展 varchar 数据类型被截断的问题。 |
组合筛选器运算符 | 修复了列筛选功能中无法将 null 列运算符与其他运算符类型组合使用的问题。 |
过多日志记录导致的 CDC 延迟。 | 修复了 PostgreSQL 源中 pglogical 插件警告的过多日志记录会导致源 CDC 延迟的问题。 |
创建表 DDL 的双向复制处理 | 修复了从 PostgreSQL 到 PostgreSQL 的双向复制时无法正确复制创建表 DDL 更改的问题。 |
使用筛选器时 CDC 失败 | 修复了 CDC 复制失败时的筛选功能问题。 |
Kafka 端点的证书颁发机构主机名验证 | 通过添加用于禁用证书颁发机构的主机名验证(SslEndpointIdentificationAlgorithm )的选项,增强了 Kafka 端点的功能。 |
IBM Db2 LUW 验证 | 修复了在数据验证期间未正确处理 Db2 LUW 源日期、时间戳和时间数据类型的问题。 |
S3 验证 | 修复了从 Db2 LUW 迁移到 S3 时,验证功能无法正确处理 timestamp(0) 数据类型的问题。 |
DMS 任务重启失败 | 修复了 PostgreSQL 源代码中的一个问题, AWS DMS 即在使用 pglogical 插件时,任务无法重启且无法使用关系事件。 |
SQL Server 的 HIERARCHY 数据类型的验证 | 修复了 SQL Server 源中 HIERARCHY 数据类型验证会失败的问题。 |
SQL Server 中带有控制字符的字符串 | 修复了 SQL Server 源中无法正确复制带有控制字符的字符串的问题。 |
带有 Secrets Manager 的亚马逊 Redshift | 修复了 Amazon Redshift 目标的一个问题,即在使用 Secrets Manager 时测试终端节点会失败。 |
MySQL ParallelLoadThreads 设置不一致 | 修复了 MySQL 目标中更改任务设置后 ParallelLoadThreads 设置未正确保留的问题。 |
PostgreSQL 到 Oracle 数据类型映射时出错 | 修复了 PostgreSQL 到 Oracle 迁移时出现的问题,即从数据类型 TEXT 复制到数据类型时,任务会失败 (2000)。 VARCHAR2 |
Oracle 到 PostgreSQL 的数据验证 | 修复了从 Oracle 迁移到 PostgreSQL,当 NULL 字符复制为 SPACE 字符时,数据验证会出现误报的问题。 |
AlwaysOn 配置中的 SQL Server 源 | 修复了 AlwaysOn 配置中 SQL Server 源代码的问题,即当副本名称与实际服务器名称不完全匹配时, AWS DMS 任务会失败。 |
Oracle 源端点测试失败 | 修复了 Oracle 源的一个问题,即在检索 Oracle 会话 ID (SID) 时,由于权限不足, AWS DMS 端点连接测试会失败。 |
CDC 不选取新表 | 修复了仅 CDC 任务在某些情况下,任务启动后在源上创建的表没有复制的问题。 |
将 Oracle 作为源时的未完成事务 | 针对 Oracle 源,改进了从起始位置启动仅 CDC 任务时处理未完成事务的方法。 |
缺失数据问题 | 修复了在应用缓存更改后停止的任务(StopTaskCachedChangesApplied 选项设置为 true),在恢复任务时丢失数据的问题。如果由于源上有大量更改而导致对 AWS DMS 复制实例磁盘的缓存更改 AWS DMS 持续存在,则很少会出现此问题。 |
扩展数据类型的数据验证问题 | 修复了 PostgreSQL 到 Oracle 的数据验证问题,在该问题中,扩展数据类型的验证失败。 |
字符编码不一致导致的数据验证问题 | 修复了 SQL Server 到 PostgreSQL 的数据验证问题,在该问题中,当源和目标之间的字符编码不一致时,验证失败。 |
数据验证问题 ORA-01455 | 修复了 PostgreSQL integer 映射到 Oracle number(10) 时,验证期间出现 ORA-01455 错误的问题。 |
SQL Server IDENTITY 支持 |
修复了 SQL Server 到 SQL Server 的数据复制问题,在该问题中,当目标列具有 IDENTITY 属性时,迁移身份列会失败。 |
ALTER 语句的字符集问题 | 修复了 MySQL 到 MySQL 的复制问题,即在 CDC 期间迁移ALTER 语句 UTF16 时,字符集会 AWS DMS 更改为。 |
PostgreSQL 到 Amazon Redshift Spatial 数据类型支持 | 增加了从 PostgreSQL 迁移到 Amazon Redshift 时对 spatial 数据类型的支持。 |
.parquet 文件的 GZIP 压缩 | 修复了 AWS DMS 无法生成以 S3 为目标的 GZIP 压缩的.parquet 文件的问题。 |
MongoDB/DocDB 源迁移 | 修复了 AWS DMS 无法从 MongoDB 源迁移部分分区的问题。 |
表统计数据问题 | 修复了当复制实例上的至少一个任务包含的表超过 1001 个时,不显示表统计数据的问题。 |
IBM Db2 LUW 版本 10.1.0 及更低版本的表暂停 | 修复了 Db2 LUW 源的一个问题,在该问题中,当源数据库版本为 10.1.0 或更低版本时,表迁移会暂停并出现错误 TYPESTRINGUNITS is not valid 。 |
MongoDB 分区问题 | 修复了 MongoDB/DocDB 中源分区缺少一个或多个区段的问题。 |
MongoDB 分区问题 | 修复了由于类型转换错误而导致基于具有 NumberLong () 类型的列进行分割失败的问题。 |
MongoDB 分区问题 | 提高了以 MongoDB 为源的大型数据集的自动分段性能。 |
MongoDB 驱动程序版本 | 将 MongoDB 驱动程序降级到 1.20.0,以继续支持 MongoDB 3.6 及更低版本。 |
Amazon S3 Apache Parquet 时间戳数据类型 | 修复了 Amazon S3 实木复合地板目标的问题。 AWS DMS 现在将 format 参数设置为,isAdjustedToUTC true 以匹配先前版本中的行为 AWS DMS。 |
Amazon Redshift 作为目标复制命令 | 修复了将 Amazon Redshift 作为目标,将数据从 Amazon S3 复制到 Amazon Redshift 时,大型表的复制命令会失败的问题。 |
PostgreSQL 几何体数据类型 | 修复从 PostgreSQL 迁移到 PostgreSQL 时,在大型几何体数据类型上迁移失败的问题。 |
Oracle 到 PostgreSQL XML | 修复了从 Oracle 复制到 PostgreSQL 时,迁移会在 XML 上增加额外空间的问题。 |
在支持的引擎中更新目标检查点 | AWS DMS 现在更新目标数据库awsdms_txn_state 表中的目标检查点。 |
MongoDB/DocDB 记录发送到错误的集合 | 修复了 MongoDB/DocDB 中数据发送到错误目标集合的问题。 |
Oracle source 使用 EscapeCharacter 端点设置进行新的表选择 | 修复 AWS DMS 了 Oracle 源的一个问题,即在设置EscapeCharacter 终端节点设置时任务停止并恢复时,只有在任务停止和恢复时,才会选择新的表进行复制。 |
CDC 恢复检查点 | 修复了在目标数据存储和 AWS DMS 控制台之间观察到的 CDC 恢复检查点不一致的问题。 |
CDC 仅验证任务 | 修复了 CDC 仅验证任务的问题,该问题导致即便任务中的所有表都遇到故障,任务也不会失败。 |
源或目标出现连接问题时的验证行为 | 修复了数据验证中的一个问题,即连接断开时 AWS DMS 会暂停源或目标上的表。 |
Oracle 迁移到 PostgreSQL 的数据验证误报 | 修复了 Oracle 到 PostgreSQL 数据验证 AWS DMS 中报告误报的问题。由于除了 VARCHAR 之外,基于文本的数据类型没有考虑源 NULL 字符在目标上的表示形式的差异,因而会产生误报。 |
Oracle 迁移到 PostgreSQL 的数据截断 | 修复了 Oracle 作为源和 PostgreSQL 作为目标的问题,当 Oracle 的 NLS_NCHAR_CHARACTERSET 设置为 AL16UTF16 时, AWS DMS 会截断 NVARCHAR 列的数据。 |
数据验证错误 | 修复了数据验证中,同时使用源筛选和添加列转换规则时会引发 unable to create where filter clause 错误的问题。 |
亚马逊 Redshift 目标错误处理 | 修复了 Amazon Redshift 作为目标的问题,即当 CDC 任务的ParallelApplyThreads 任务设置设置为大于零时,错误处理无法按配置运行。 |
Oracle 作为源时通信失败 | 修复了 Oracle 作为源时,任务保持为 RUNNING 状态,但在通信失败后无法迁移任何数据的问题。 |
使用列筛选器时 CDC 表暂停 | 修复了完全加载 + CDC 任务中,应用列筛选器时,在 CDC 阶段会暂停表的问题。 |
S3 作为目标时特殊字符的数据验证失败 | 修复了 S3 目标数据验证中,如果表名中包含除下划线之外的特殊字符,任务将失败的问题。 |
MongoDB 源中的完全加载和 CDC 故障 | 修复了 MongoDB 作为源时,迁移大型集合的缓存事件处理期间,完全加载 + CDC 任务会失败的问题。 |
BatchApplyEnabled 设置为 true 时的升级问题 |
修复了任务设置为 true 的BatchApplyEnabled 任务在某些情况下从 AWS DMS 版本 3.4.6 迁移到 3.5.1 后会失败的问题。 |
具有区分大小写归类的 SQL Server AlwaysOn 源代码 | 修复了 SQL Server AlwaysOn 作为源时任务因区分大小写的排序规则而失败的问题。 |
MySQL 源中的任务挂起 | 修复了将 MySQL 作为源时,源配置不正确时任务会挂起而不是失败的问题。 |
S3 源中的完全加载任务失败 | 修复了从 3.4.6 或 3.4.7 版本升级到 3.5.1 AWS DMS 版本后,将 S3 作为源的问题,任务在恢复时会失败。 |
捕获设置为 false 的 PostgreSQL 源 DDLs | 修复了 PostgreSQL 作为源 DDLs 端点设置为 false CaptureDDLs 时无法正确处理的问题。 |
Oracle 源中任务在恢复期间崩溃 | 修复了 Oracle 作为源时,由于列名中的数据不正确,会导致任务在恢复时崩溃的问题。 |
MySQL 源中的 LOB 查找失败 | 修复了将 MySQL 作为源,当 ParallelApplyThreads 任务设置被设置为大于零的值时,LOB 查找会失败的问题。 |
SQL 服务器源中的不合逻辑的 LSN 错误 | 修复了将 SQL Server 作为源的问题,即从 AWS DMS 版本 3.4.7 升级到版本 3.5.1 后,任务会因illogical LSN sequencing state error 错误而失败。 |
PostgreSQL 源和 pglogical | 修复了 PostgreSQL 作为源时的问题,在该问题中,使用 pglogical 插件的任务,在任务停止时、从选择规则中移除表时、任务恢复时以及对已删除的表进行更改时会失败。 |
Aurora MySQL 恢复检查点不正确。 | 修复了将 Aurora MySQL 作为源时出现的问题,即,由于 Aurora 失效转移或 Aurora 源停止和启动,会保存不正确的恢复检查点。 |
SQL Server 作为源时任务崩溃。 | 修复了 SQL Server 作为源时出现的问题,即,当 SafeguardPolicy 设置为 RELY_ON_SQL_SERVER_REPLICATION_AGENT 时,任务会崩溃。 |
MySQL 作为目标时数据类型转换不正确 | 修复了 MySQL 作为目标时出现的问题,即,由于批处理应用阶段的数据类型转换不正确,CDC 复制会失败。 |
将 PostgreSQL 作为源的 Capture DDLs 设置为 false 时任务失败。 | 修复了 PostgreSQL 作为源时出现的问题,即,在 CaptureDDLs 端点设置为 false 时,由于将 DDL 视为 DML,任务会失败。 |
MongoDB 空集合崩溃 | 修复了 MongoDB 作为源时,由于空集合而导致任务崩溃的问题。 |
Amazon Redshift 作为目标满载任务崩溃 | 修复了 Amazon Redshift 作为目标的问题,即启用恢复检查点控制表后,任务在满负荷阶段会崩溃。 |
S3 到 S3 - 无数据移动。 | 修复了 S3 到 S3 复制的问题, AWS DMS 如果未指定,bucketFolder 则无法复制数据。 |
GlueCatalogGeneration 设置为 true 时 CDC 延迟 |
修复了 S3 作为目标时出现的问题,即,GlueCatalogGeneration 设置为 true 时会出现延迟过长。 |
Oracle 作为目标时数据截断 | 修复了 Oracle 作为目标会 AWS DMS 截断列中的 VARCHAR2 数据的问题。 |
PostgreSQL 下划线通配符行为 | 修复了 PostgreSQL 作为源时出现的问题,即,选择规则中通配符“_”的行为与文档所述不符。 |
PostgreSQL 作为源时出现空 WAL 标头问题。 | 修复了 PostgreSQL 作为源时出现的问题,即,由于从复制时隙收到空 WAL 标头导致任务失败。 |
MySQL 或 MariaDB 作为源时出现压缩二进制日志 | 修复了 MySQL 和 MariaDB 作为源代码的问题,即在 AWS DMS 检测到 BINLOG 压缩时未发出正确的错误消息。 |
S3 数据验证特殊字符 | 改进了 S3 数据验证,以处理主键列和非主键列中的特殊字符。 |
以 Amazon Redshift 为目标的误导性任务日志条目。 | 修复了 Amazon Redshift 作为目标的问题,即任务日志中存在误导性条目,报告更新和删除时批量应用语句失败。 |
SQL Server 到 S3 迁移任务崩溃。 | 修复了 SQL Server 到 S3 迁移的问题,即,在应用缓存更改时任务崩溃。 |
批量应用时出现缺少数据错误。 | 修复了批量应用功能的问题,即,应用批处理时出错会导致数据丢失。 |
SQL Server 源代码的日志增强功能 | 改进了 SQL Server 源的日志记录,以包含存储单元值。增强了AlwaysOn 配置中对 SQL Server 源的日志记录,以正确指示缺少的权限。 |
Kafka 目标的日志增强功能 | 引入了多项登录增强功能,为 Kafka 目标提供了更好的可见性和故障排除功能。 |
Oracle 源代码的日志增强功能。 | 使用二进制读取器增强了 Oracle 源代码的日志记录,可以正确指示由于缺少主键而跳过了表。 |
针对禁用 DDL 的迁移的日志增强功能 | 增强了在禁用 DDL 复制的情况下迁移的日志记录,以指示在外部修改目标表结构后出现意外的目标表结构。 AWS DMS |
针对暂停源捕获的日志增强功能。 | 增强了日志功能,可以更好地解释暂停的源捕获情况。 |
AWS DMS 交换日志增强功能 | 增强了日志功能,用于指示何时 AWS DMS 正在读取内部交换文件。 |
亚马逊 Redshift 目标的日志增强功能 | 增强了 Amazon Redshift 目标的日志记录,在默认日志级别中包含更多详细信息。 |
改进了元数据管理器的日志记录 | 增强了日志功能,可在信息日志级别下报告表 matadata 的问题,从而简化故障排除。 |
亚马逊 Redshift 目标的数据验证增强功能 | 增强了 Amazon Redshift 目标的数据验证功能以支持HandleCollationDiff 设置。 |
数据验证重新验证选项不可用 | 修复了数据验证功能在某些情况下无法使用重新验证选项的问题。 |
表格重新加载问题 | 修复了当至少一个表无效时,多个表的重新加载被取消的问题。 |
MySQL 到 Amazon Redshift 的 JSON 迁移问题。 | 修复了 MySQL 源代码在启用 Batch Apply 的情况下无法正确处理 JSON 数据类型的问题。 |
列筛选问题 | 修复了列筛选功能的一个问题,即在 FL 期间,筛选器未正确应用于新添加的列。 |
Db2 LUC 源代码与选择规则有关的问题。 | 修复了 Db2 LUW 源的一个问题,即选择规则中的 “表类型” 选项被忽略。 |
筛选任务的数据验证问题。 | 修复了数据验证功能在验证数据时不考虑筛选器的问题。 |
LOB 迁移问题 | 修复了 LOB 迁移时 AWS DMS 任务在处理某些事件类型时会崩溃的问题。 |
数据验证问题 | 修复了数据验证功能的一个问题,即仅限验证的任务会挂在某些 DDL 事件上。 |
筛选器的数据验证问题 | 修复了数据验证功能存在筛选器时未应用该HandleCollationDiff 设置的问题 |
MySQL SourceEnum 编码问题。 | 修复了 MySQL 源代码中未正确迁移 UTF-16 编码的枚举值的问题。 |
SQL Server 到 APG 迁移的数据验证问题。 | 修复了 SQL Server 到 PostgreSQL 迁移时出现的一个问题,即在某些情况下,数据验证会报告误报。 |
EmptyAsNull 亚马逊 Redshift 的 ECA 问题瞄准了疾病预防控制中心 | 修复了 Amazon Redshift 目标的 EmptyAsNull ECA 无法正常工作的问题。 |
内存泄漏问题 | 修复了使用 CSV 文件加载数据 DMS 任务的目标显示内存泄漏的问题。 |
带有数据验证功能的转换规则 | 修复了数据验证功能存在覆盖规则时忽略转换规则的问题。 |
S3 目标问题 | 修复了 Amazon S3 目标在启用cdcInsertAndUpdateOnly 设置时未遵守CdcMaxBatchInterval 和CdcMinFileSize 未被遵守的问题。 |
MySQL 目标问题 | 修复了 MySQL 目标的一个问题,即损坏的列元数据可能会导致 AWS DMS 任务崩溃和/或数据丢失。 |
数据验证问题 | 修复了数据验证功能的一个问题,即任何表暂停时,验证过程都会过早终止。 |
Oracle 目标批处理应用问题 | 修复了 Oracle 目标在启用 Batch Apply 后 AWS DMS 任务会崩溃的问题。 |
Amazon S3 的目标是数据验证问题。 | FIxed Amazon S3 目标数据验证存在一个问题,由于 Athena 未正确存储表名,任务将失败。 |
MongoDB 和亚马逊 DocumentDB Secret Manger 问题。 | 修复了 MongoDB 和 Amazon DocumentDB 终端节点无法从 Secret Manager 检索凭证,从而导致错误的问题。 |
Oracle 数据验证从未完成的问题。 | 修复了 Oracle 数据验证中某些表的验证永远无法完成的问题。 |
数据验证悬而未决的问题 | 修复了数据验证功能的一个问题,即由于内存分配不足,某些表的验证会暂停。 |
亚马逊 S3 目标任务崩溃问题 | 修复了 Amazon S3 目标的一个问题,即启用后, AWS DMS 任务在收到变更表 DDL 后GlueCatalogGeneration 会崩溃。 |
数据验证问题 | 修复了数据验证功能中NUL (0x00) 字符验证失败的问题。 |
Babelsifh 端点问题 | 修复了 babelfish 端点的一个问题,即大小写混合的表名会被暂停。 |
亚马逊 Redshift 瞄准了数据丢失问题 | 修复了 Amazon Redshift 目标的一个问题,即在某些条件下 >0 ParallelLoadThreads 时会发生数据丢失。 |
亚马逊 S3 目标数据验证问题 | 修复了 Amazon S3 目标数据验证的问题,即当表中除了 PK 之外没有其他列时,验证会失败。 |
数据验证 CloudWatch 指标 | 修复了数据验证功能中缺少用于验证的 CloudWatch 指标的问题,这需要很短的时间才能完成。 |
批量出现内存泄漏问题 | 修复了在某些条件下可能出现的批量应用功能的内存泄漏问题。 |
AWS DMS 任务启动问题 | 修复了 AWS DMS 任务启动需要很长时间并且永远无法完成的问题。 |
PostgreSQL 源缺少数据问题 | 修复了 PostgreSQL 源中由于复制槽中的未知事件而导致数据丢失的问题。 |
亚马逊 S3 的目标是数据丢失问题 | 修复了 Amazon S3 目标的一个问题,即失败的 LOB 查找会导致数据丢失。 |
AWS Database Migration Service 3.5.0 测试版发行说明
重要
AWS DMS 3.5.0 是复制实例引擎的测试版。 AWS DMS 支持此版本与之前的所有版本相同。但我们建议您在将 AWS DMS 3.5.0 Beta 版用于生产目的之前先对其进行测试。
下表显示了 AWS Database Migration Service (AWS DMS) 版本 3.5.0 测试版中引入的新功能和增强功能。
新特征或增强功能 | 描述 |
---|---|
Oracle 和 Microsoft SQL Server 的 Time Travel | 现在,你可以通过 DMS 支持的 Oracle、Microsoft SQL Server 和 PostgreSQL 源端点以及 DMS 支持的 PostgreSQL 和 MySQL 目标端点在所有 AWS 区域使用时空旅行。 |
S3 验证 | AWS DMS 现在支持验证 Amazon S3 目标终端节点中复制的数据。有关验证 Amazon S3 目标数据的信息,请参阅 Amazon S3 目标数据验证。 |
Glue 目录集成 | AWS Glue 是一项提供简单数据分类方法的服务,由名为 AWS Glue Data Catalog的元数据存储库组成。现在,您可以将 AWS Glue Data Catalog 与您的 Amazon S3 目标终端节点集成,并通过其他 AWS 服务(例如亚马逊 Athena)查询亚马逊 S3 数据。有关更多信息,请参阅 AWS Glue Data Catalog 与 Amazon S3 目标配合使用 AWS DMS。 |
将 DocumentDB 作为目标时的并行应用 | 使用 DocumentDB 作为具有新ParallelApply* 任务设置的目标,在 CDC 复制期间 AWS DMS 现在最多支持每秒 5000 条记录。有关更多信息,请参阅 使用亚马逊 DocumentDB 作为 AWS 数据库迁移服务的目标。 |
以客户为中心的日志记录 | 现在,在 3.5.0 AWS DMS 版本中,您可以更有效地检查和管理任务日志。有关查看和管理 AWS DMS 任务日志的信息,请参阅查看和管理 AWS DMS 任务日志。 |
SASL_PLAIN Kafka 目标端点的机制 | 现在,您可以使用 SASL_PLAIN身份验证来支持 Kafka MSK 目标端点。 |
在 MySQL 中复制 XA 事务 | 现在,您可以在 MySQL DMS 源上使用 XA 事务。在 DMS 3.5.0 之前,作为 XA 事务的一部分应用的 DML 更改无法正确复制。 |
Oracle 扩展数据类型 | AWS DMS 现在支持在 Oracle 12.2 及更高版本中复制扩展数据类型。 |
Db2 LUW 环境 PureScale | AWS DMS 现在支持从 Db2 LUW PureScale 环境进行复制。仅当使用“从源更改位置开始处理更改”选项时才支持此功能。 |
SQL 服务器源和 READ_COMMITTED_SNAPSHOT 选项 |
在READ_COMMITTED_SNAPSHOT 选项设置为的情况下使用 Microsoft SQL Server 源数据库时TRUE ,可以通过设置 “forceDataRow查找” 连接属性来正确复制 DML 更改。 |
AWS DMS 3.5.0 包括以下已解决的问题:
主题 | 解决方案 |
---|---|
Oracle – 比较从数字转换而来的字符串的特殊大小写 | 修复了 Oracle 源中,当数字列中将数据类型转换为字符串时,同一列的筛选规则无法按预期工作的问题。 |
本地 SQL Server AG 增强功能 | 通过消除与 DMS 未使用的副本的不必要连接,提高了在AlwaysOn配置中使用 SQL Server 源的连接处理效率。 |
SQL Server HIERARCHYID 内部转换 | 修复了 SQL Server 源中的问题,在该问题中,复制到 SQL Server 目标时,HIERARCHYID 数据类型复制为 VARCHAR(250) 而不是 HIERARCHYID。 |
S3 目标移动任务修复 | 修复了使用 S3 目标的任务在移动时需要很长时间、显示为冻结或永远无法完成的问题。 |
Kafka 的 SASL Plain 机制 | 为 Kafka MSK 目标端点引入了对 SASL Plain 身份验证方法的支持。 |
由于 Opensearch 2.x 中有 _type 参数,并行加载/应用失败 | 修复了 Opensearch 2.x 目标由于缺少对 _type 参数的支持,并行加载或并行应用会失败的问题。 |
支持使用混合运算符的表映射筛选器 | 删除了只能对一个列应用一个筛选器的限制。 |
S3、Kinesis、Kafka 端点 – CDC 阶段中基于变更的 LOB 列迁移 | 修复了 Kinesis、Kafka 和 S3 目标在 CDC 期间不复制添加的 LOB 列中数据的问题。 |
MongoDB 驱动程序升级 | MongoDB 驱动程序已升级到 v1.23.2。 |
Kafka 驱动程序更新 | Kafka 驱动程序已从 1.5.3 升级到 1.9.2。 |
S3 端点设置无法正常工作 | 修复了 S3 目标的一个问题,在该问题中,当数据包含指定作为 S3 目标的分隔符的字符时,AddTrailingPaddingCharacter 端点设置不起作用。 |
Kinesis 目标任务会崩溃 | 修复了 Kinesis 目标的问题,在该问题中,当 PK 值为空且启用了详细调试时,任务会崩溃。 |
当 S3 目标的列名偏移一个位置时 | 修复了 S3 目标的问题,在该问题中,当 AddColumnName 设置为 true 且 TimestampColumnName 设置为 "" 时,列名会移动一个位置。 |
改进了日志记录 LOB 截断警告 | 改进了 SQL Server 源的 LOB 截断警告日志记录,以包括用于检索 LOB 的选择语句。 |
添加致命错误以避免在 TDE 密码错误时 DMS 任务崩溃。 | 引入了有意义的错误消息,并消除了将 Oracle 作为源时,在由于 TDE 密码不正确而导致 DMS 任务失败且没有错误消息的情况下,任务崩溃的问题。 |
允许在 CDC 期间 PostgreSQL CTAS(Create Table As Selected,根据选定内容创建表)DDL 的迁移。 | 移除了 DMS 在 CDC 期间无法复制 PostgreSQL CTAS(按选定内容创建表)的限制。 DDLs |
修复 CDC 中删除表列时的 pg_logical 任务崩溃问题。 | 修复了带有 S3 目标的 PostgreSQL 源的一个问题,即禁用并存在支持 LOBs 时,目标上的列未对齐。 LOBs |
修复 MySQL 连接处理中的内存泄漏问题 | 修复了 MySQL 源中任务内存消耗持续增加的问题。 |
Oracle 源端点设置 – ConvertTimestampWithZoneToUTC |
将此属性设置为 true ,以便将“TIMESTAMP WITH TIME ZONE”和“TIMESTAMP WITH LOCAL TIME ZONE”列的时间戳值转换为 UTC。默认情况下,此属性的值为“false”,数据将使用源数据库时区进行复制。 |
Oracle 源 – DataTruncationErrorPolicy 设置为 SUSPEND_TABLE 时不起作用 |
修复了将作为 S3 目标的 Oracle 源的问题,在该问题中,DataTruncationErrorPolicy 任务设置被设置为 SUSPEND_TABLE 时表不暂停。 |
构建查询子句时,SQL Server 在长架构/表上失败 | 修复了 SQL Server 源的一个问题,在该问题中,当选择规则包含以逗号分隔的表列表时,任务会失败或无响应。 |
MongoDB 端点的 Secret Manager 身份验证 | 修复了 MongoDB 和 DocumentDB 端点中基于 Secret Manager 的身份验证不工作的问题。 |
当 NLS_NCHAR_CHARACTERSET 设置为时,DMS 会在 CDC 期间截断多字节 varchar 列的数据 UTF8 | 修复了使用 Oracle 目标的 Oracle 源的一个问题,即在 NLS_NCHAR_CHARACTERSET 设置为 NLS_NCHARTARSET 的情况下,多字节 VARCHAR 列的数据被截断。 UTF8 |
filterTransactionsOfUser 甲骨文版 ECA LogMiner |
添加了额外连接属性 (ECA)filterTransactionsOfUser ,允许 DMS 在使用从 Oracle 进行复制时忽略来自指定用户的交易。 LogMiner |
SQL Server 在备份中丢失 lsn 时设置可恢复错误 | 修复了 SQL Server 在缺少 LSN 时任务不会失败的问题。 |
AWS Database Migration Service 3.4.7 版本说明
下表显示了 AWS Database Migration Service (AWS DMS) 版本 3.4.7 中引入的新功能和增强功能。
新特征或增强功能 | 描述 |
---|---|
支持将 Babelfish 作为目标 |
AWS DMS 现在支持 Babelfish 作为目标。使用 AWS DMS,您现在可以将实时数据从任何 AWS DMS 支持的来源迁移到 Babelfish,停机时间最短。 有关更多信息,请参阅 使用 Babelfish 作为 AWS Database Migration Service 的目标。 |
支持将 IBM Db2 z/OS 数据库作为仅完全加载的源 |
AWS DMS 现在支持 IBM Db2 z/OS 数据库作为源。使用 AWS DMS,您现在可以执行从 Db2 大型机到任何 AWS DMS 支持的目标的实时迁移。 有关更多信息,请参阅 将 IBM Db2 for z/OS 数据库用作 AWS DMS 的源。 |
支持将 SQL Server 只读副本作为源 |
AWS DMS 现在支持 SQL Server 只读副本作为源。现在 AWS DMS,您可以使用执行从 SQL Server 只读副本到任何 AWS DMS 支持的目标的实时迁移。 有关更多信息,请参阅 将 Microsoft SQL Server 数据库作为 AWS DMS 的源。 |
Supp EventBridge ort DMS 活动 |
AWS DMS 支持使用 EventBridge 针对 DMS 事件管理事件订阅。 有关更多信息,请参阅 在 AWS Database Migration Service 中使用 Amazon EventBridge 事件和通知。 |
支持 VPC 源端点和目标端点 |
AWS DMS 现在支持亚马逊虚拟私有云 (VPC) Virtual Private Cloud 终端节点作为源和目标。 AWS DMS 现在,如果在 AWS 服务的 VPC 中定义了明确定义的路由,则可以通过 AWS DMS VPC 终端节点连接到任何服务。 注意升级到 3.4.7 及更高 AWS DMS 版本要求您首先配置 AWS DMS 为使用 VPC 终端节点或使用公共路由。此要求适用于亚马逊 S3、亚马逊 Kinesis Data Streams、亚马逊 DynamoDB AWS Secrets Manager、Amazon Redshift 和亚马逊服务的源端点和目标终端节点。 OpenSearch 有关更多信息,请参阅 将 VPC 端点配置为 AWS DMS 源端点和目标端点。 |
新 PostgreSQL 版本 | 现在支持将 PostgreSQL 版本 14.x 作为源和目标。 |
支持将 Aurora Serverless v2 作为目标 |
AWS DMS 现在支持 Aurora Serverless v2 作为目标。使用后 AWS DMS,您现在可以实时迁移到 Aurora Serverless v2。 有关支持的 AWS DMS 目标的信息,请参见数据迁移的目标。 |
新 IBM Db2 for LUW 版本 |
AWS DMS 现在支持 IBM Db2 for LUW 版本 11.5.6 和 11.5.7 作为来源。现在 AWS DMS,您可以使用最新版本的 IBM DB2 for LUW 执行实时迁移。 有关 AWS DMS 来源的信息,请参见数据迁移的源。 有关支持的 AWS DMS 目标的信息,请参见数据迁移的目标。 |
AWS DMS 3.4.7 包括以下新的或已更改的行为以及已解决的问题:
-
现在,在使用 Amazon S3 作为源时,您可以使用表定义中的日期格式将数据字符串解析为日期对象。
-
新的表统计数据计数器现已推出:
AppliedInserts
、AppliedDdls
、AppliedDeletes
和AppliedUpdates.
-
现在,当 OpenSearch 用作目标时,您可以选择默认的映射类型。
-
Oracle、PostgreSQL SQLServer 和源代码的新
TrimSpaceInChar
端点设置允许你指定是否修剪 CHAR 和 NCHAR 数据类型的数据。 -
使用 S3 作为源或目标时,Amazon S3 的新
ExpectedBucketOwner
端点设置可防止探测。 -
对于 RDS SQL Server、Azure SQL Server 和自管理 SQL Server,DMS 现在可以在为迁移任务选择的所有表上自动设置 MS-CDC,不论这些表是否有主键,或者在具有唯一索引时,考虑在具有主键的自管理 SQL Server 表上为 MS-REPLICATION 启用优先级。
-
增加了对在 Oracle 同构迁移期间,对复制 Oracle 分区和子分区 DDL 操作的支持。
-
修复了使用 Oracle 作为源和目标时,复合主键导致数据验证任务崩溃的问题。
-
修复了在使用 Amazon Redshift 作为目标时,目标列预先创建为布尔值时,将不同的字符类型正确转换为布尔值的问题。
-
修复了当使用 PostgreSQL 作为目标时,由于已知的 ODBC 问题,将
varchar
数据类型作为varchar(255)
迁移时会导致数据截断的问题。 -
修复了使用 Oracle 作为目标时,在
BatchApplyEnabled
设置为true
且BatchApplyPreserveTransaction
设置为false
时,不遵守 DELETE 操作并行提示的问题。 -
使用 S3 作为目标时,Amazon S3 的新
AddTrailingPaddingCharacter
端点设置增加了对字符串数据进行填充的功能。 -
新的
max_statement_timeout_seconds
任务设置延长了端点查询的默认超时。MySQL 端点元数据查询目前使用此设置。 -
修复了使用 PostgreSQL 作为目标时,CDC 任务未正确使用错误处理任务设置的问题。
-
修复了 DMS 无法正确识别 Redis OSS Enterprise 实例的 Redis OSS 模式的问题。
-
扩展了对 S3 目标 Parquet 格式的
includeOpForFullLoad
额外连接属性(ECA)的支持。 -
引入了一个新的 PostgreSQL 端点设置
migrateBooleanAsBoolean
。当 PostgreSQL 到 Amazon Redshift 的迁移将此设置设置true
为时,布尔值将迁移为 varchar (1)。如果将其设置为false
,则布尔值将作为 varchar(15) 进行迁移,这是默认行为。 -
修复了使用 SQL Server 源时,
datetime
数据类型的迁移问题。此修复解决了精度为毫秒时插入Null
的问题。 -
对于带有 PGLOGICAL 的 PostgresSQL 源,修复了一个迁移问题,在该问题中,在 CDC 阶段使用 pglogical 并从源表中删除字段时,删除字段之后的值不会迁移到目标表。
-
修复了 SQL Server 环回迁移中双向复制获得重复记录的问题。
-
为 PostgresSQL 作为源添加了一个新的 ECA
mapBooleanAsBoolean
。使用这个额外的连接属性,你可以覆盖 PostgresSQL 布尔值到 RedShift 布尔数据类型的默认数据类型映射。 -
修复了使用 SQL Server 作为源时的迁移问题,解决了 ALTER DECIMAL/NUMERIC SCALE 未复制到目标的情况。
-
修复了 SQL Server 2005 的连接问题。
-
自 2022 年 10 月 17 日起,DMS 3.4.7 现在支持第 6 代 Amazon EC2 实例类用于复制实例。
-
从 2022 年 11 月 25 日起,通过 DMS 3.4.7,您可以使用 DMS 架构转换来转换数据库架构和代码对象,并使用 DMS Fleet Advisor 在网络环境中发现适合迁移的数据库。
-
自 2022 年 11 月 25 日起,DMS Studio 停用。
-
自 2023 年 1 月 31 日起,DMS 架构转换支持将 Aurora MySQL 和 Aurora PostgreSQL 作为目标数据提供程序。
-
从 2023 年 3 月 6 日起,您可以使用 DMS Fleet Advisor 为源数据库生成合适目标大小的建议。
-
自 2023 年 3 月 6 日 AWS DMS 起,支持允许向亚马逊发布指标数据点的 AWS 托管政策 CloudWatch。
主题 | 解决方案 |
---|---|
PostgreSQL 源任务失败 | 修复了 PostgreSQL 源中,当单个事件中超过允许的 DDL 操作最大数时,任务会失败的问题。 |
PostgreSQL 源数据验证误报 | 修复了 PostgreSQL 为源和 Oracle 为目标时,时间戳字段的转换不正确会导致误报数据验证错误的问题。 |
MySQL 源错误处理 | 修复了 MySQL 源中下一个 BIN 日志不可用时 DMS 任务不失败的问题。 |
MySQL 源 ROTATE_EVENT 日志记录 | 改进了与 ROTATE_EVENT 相关的 MySQL 源的日志记录,包括所读取的 BIN 日志名称。 |
数据验证超时问题 | 修复了数据验证功能的一个问题,在该问题中,与数据验证相关的查询不遵守 executeTimeout 端点设置。 |
PostgreSQL 目标并行完全加载问题 | 修复了 PostgreSQL 目标中由于“连接中断”错误而导致分段(并行)完全加载失败的问题。 |
DMS 任务移动问题 | 修复了 S3 目标中 DMS 任务移动操作花费很长时间或从未完成的问题。 |
PostgreSQL 源中重复记录问题 | 修复了 PostgreSQL 源的一个问题,在该问题中,任务停止并恢复后,DMS 任务会引发与目标上重复项相关的错误。 |
Oracle 目标数据验证误报 | 修复了 Oracle 目标的一个问题,在该问题中,由于时间戳字段的复制时区不正确,数据验证会出现误报的错误。 |
主题 | 解决方案 |
---|---|
将 SQL Server AG 副本作为源 | 在侦听器 TCP 端口与副本 TCP 端口不同的AlwaysOn配置中添加了对 SQL Server 源的支持。 |
将 Amazon Redshift 作为目标时的数据丢失 | 修复了亚马逊 Redshift 目标的一个问题,在极少数情况下,Amazon Redshift 意外重启可能会导致目标上的数据丢失。 |
SQL Server 源保护支持 | 修复了 SQL Server 源的一个问题,在该问题中,当指定了端点设置 "SafeguardPolicy":
"EXCLUSIVE_AUTOMATIC_TRUNCATION" 时,DMS 任务可能会失败,并显示错误,说明无法读取事务日志备份。 |
Oracle 作为源时数据验证任务失败 | 修复了 Oracle 源中,由于主键值识别不正确,DMS 任务在数据验证时可能失败的问题。 |
图像数据发布之前的 Kinesis | 修复了流式传输目标(Kinesis、Kafka)中 "EnableBeforeImage" 任务设置仅对字符数据类型起作用的问题。 |
Time Travel 日志文件 | 修复了当源处于空闲状态时,DMS 会创建零字节 Time Travel 日志文件的 Time Travel 功能问题。 |
主题 | 解决方案 |
---|---|
BatchApplyEnabled | 修复了设置 BatchApplyEnabled 为 True 时日志记录过多的问题。 |
新的 MongoDB 端点设置— FullLoadNoCursorTimeout | MongoDB 端点 FullLoadNoCursorTimeout 设置为满载 NoCursorTimeout 光标指定。 NoCursorTimeout 是一个 MongoDB 连接设置,用于防止服务器在空闲时关闭光标。 |
MongoDB – 用于单列分段的筛选功能 | 新的筛选功能提高了使用单列进行分段来迁移 MongoDB 数据库的性能。 |
MongoDB 到 Amazon Redshift | 从 MongoDB 迁移到 Amazon Redshift 时,如果 MongoDB 集合具有二进制数据类型,则修复了 DMS 无法在 Amazon Redshift 上创建目标表的问题。 |
新的 Mon SocketTimeout goDB MS 连接属性 | 新的 M SocketTimeout ongoDB MS 额外连接属性以毫秒为单位配置 MongoDB 客户端的连接超时。如果该值小于或等于零,则使用 MongoDB 客户端默认值。 |
修复了导致 Amazon Kinesis 任务崩溃的问题 | 修复了当迁移到 Amazon Kinesis Data Streams 目标时,在表中不存在主键的情况下处理 null 值的问题。 |
支持 Oracle NULL PK/UK 数据验证 | 删除了不支持 NULL PK/UK 值的数据验证的限制。 |
Oracle 到 Amazon S3 | 修复了从 Oracle 迁移到 Amazon S3 时,将一些记录错误地迁移为 NULL 的问题。 |
Oracle Standby | 使用 Oracle Standby 作为源时,增加了 DMS 处理未完成事务的功能。 |
Oracle 迁移到 Oracle,使用 SDO_GEOMETRY 空间数据类型 | 修复了从 Oracle 迁移到 Oracle 时,表的 DDL 中存在 SDO_GEOMERY 列时任务会失败的问题。 |
Oracle 作为源 | 修复了使用 Oracle 作为源时,DMS 偶尔会跳过 Oracle 重做日志序列号的问题。 |
Oracle 作为源 – 缺少存档/联机重做日志 | 修复了使用 Oracle 作为源时,当存档日志丢失时 DMS 任务会失败的问题。 |
已修复 – DMS 偶尔会跳过 Oracle Standby 重做日志 | 修复了使用 Oracle 作为源时,DMS 偶尔会跳过 Oracle 重做日志序列号的问题。 |
已修复 – Oracle 复制到 Oracle 在 CDC 期间无法复制空间数据类型 | 修复了从 Oracle 复制到 Oracle 时,在 CDC 期间无法复制空间数据类型的问题。 |
Oracle 作为目标 | 使用 Oracle 作为目标时,修复了目标应用失败并出现 ORA-01747 错误的问题。 |
Amazon S3 – 修复了重新加载表数据丢失的问题 | 修复了使用 Amazon S3 作为目标时,表重新加载操作未生成 CDC 文件的问题。 |
已修复 – 将主服务器作为源时 SQL Server Always On 的上下文初始化 | 使用 SQL Server Always On 作为源时,修复了在源为主源且设置 AlwaysOnSharedSyncedBackupIsEnabled 为 true 时无法初始化可用性组 (AG) 的问题。 |
更新了 SQL 服务器端点设置 | 当源端点是 SQL Server Always On 可用性组并且是辅助副本时,修复了设置 AlwaysOnSharedSynchedBackupsIsEnabled 为 True 时复制任务失败的问题。 |
将 PostgreSQL 作为源 | 修复了 CDC 无法迁移 PostgreSQL 源上的删除/更新操作的问题,该操作是在 3.4.7 中引入的,支持布尔值。 mapBooleanAs |
AWS Database Migration Service 3.4.6 版本说明
下表显示了 AWS Database Migration Service (AWS DMS) 版本 3.4.6 中引入的新功能和增强功能。
新特征或增强功能 | 描述 |
---|---|
AWS DMS 时光旅行 | AWS DMS 推出了 Time Travel,该功能为客户提供了灵活的日志记录功能,并增强了他们的故障排除体验。借助 Time Travel,您可以使用 Amazon S3 存储和加密 AWS DMS 日志,并在特定时间范围内查看、下载和混淆日志。 |
支持将 Microsoft Azure SQL 托管实例作为源 | AWS DMS 现在支持微软 Azure SQL 托管实例作为源。使用后 AWS DMS,你现在可以执行从 Microsoft Azure SQL 托管实例到任何 AWS DMS 支持的目标的实时迁移。 有关 AWS DMS 来源的信息,请参见数据迁移的源。 有关支持的 AWS DMS 目标的信息,请参见数据迁移的目标。 |
支持将 Google Cloud SQL for MySQL 作为源 | AWS DMS 现在支持将适用于 MySQL 的谷歌云 SQL 作为源。通过使用 AWS DMS,您现在可以执行从适用于 MySQL 的 Google Cloud SQL 到任何 AWS DMS 支持的目标的实时迁移。 有关 AWS DMS 来源的信息,请参见数据迁移的源。 有关支持的 AWS DMS 目标的信息,请参见数据迁移的目标。 |
支持将分区数据并行加载到 S3 | AWS DMS 现在支持将分区数据并行加载到 Amazon S3,从而缩短了将分区数据从支持的数据库引擎源数据迁移到 Amazon S3 的加载时间。此功能为数据库源中表的每个分区创建 Amazon S3 子文件夹,从而允许 AWS DMS 运行并行进程来填充每个子文件夹。 |
支持单个任务中的多个 Apache Kafka 目标主题 | AWS DMS 现在支持使用单个任务的 Apache Kafka 多主题目标。使用 AWS DMS,您现在可以使用同一个任务,将多个架构从单个数据库复制到不同的 Apache Kafka 目标主题。这样,在需要将来自同一源数据库的多个表迁移到不同的 Kafka 目标主题时,就不需要创建多个单独的任务。 |
AWS DMS 3.4.6 中解决的问题包括:
-
修复了使用 Amazon S3 作为目标且使用 CSV 格式时,如果主键列不是第一列,UPDATE 语句中的列会填充到错误列的问题。
-
修复了使用 PostgreSQL 作为源时,在受限 LOB 模式下使用带有
BYTEA
列NULL
值的 pglogical 插件时, AWS DMS 任务可能会崩溃的问题。 -
修复了在使用 PostgreSQL 作为源时删除大量源表时 AWS DMS 任务可能会崩溃的问题。
-
通过引入新的 Amazon S3 设置
DatePartitionTimezone
来允许在非 UTC 日期上进行分区,从而改进了 Amazon S3 基于日期的文件夹分区。 -
在使用 Amazon Redshift 作为目标
TIMESTAMPTZ
时,支持TIMESTAMP WITH TIME ZONE
从源到的数据类型之间的映射 -
提高了在使用 MongoDB 或 Amazon DocumentDB 作为源时,在没有通配符选择规则的任务中 CDC 的性能。
-
修复了在使用 Db2 LUW 作为源时, AWS DMS 任务无法捕获使用下划线通配符且长度小于 8 的架构名称的问题。
-
修复了使用 OpenSearch 服务作为目标时, AWS DMS 实例在大数据量下内存不足的问题。
-
通过支持仅完全加载验证任务,提高了数据验证的性能。
-
修复了使用 Sybase 作为源时,强制故障切换后 AWS DMS 任务无法恢复的问题。
-
修复了警告 AWS DMS 发送
Invalid BC timestamp was encountered in column
错误的问题。
在 DMS 3.4.6 维护版本中解决了以下问题:
-
修复了使用 Oracle 作为源和目标时,启用了批量应用模式时任务崩溃的问题。
-
修复了一个问题,使得完全加载任务能够正确地使用以 PostgreSQL 为源的
ExecuteTimeout
端点设置。 -
修复了在使用 PostgreSQL 作为源时,在将任务设置为受限 LOB 模式时,迁移数组数据类型列出现的问题。
-
修复了在使用 PostgreSQL 作为源时,迁移带有时区的时间戳在 1970-01-01 之前时出现的问题。
-
修复了使用 SQL Server 作为源和目标时,DMS 在复制过程中将 null 字符串视为空字符串的问题。
-
修复了使用 MySQL 源/目标时遵守会话读取和写入超时端点设置的问题。
-
修复了使用 Amazon S3 作为源时,DMS CDC 任务下载完全加载相关文件时的问题。
-
修复了使用 Amazon S3 作为目标时,将
CdcInsertsAndUpdates
和PreserveTransactions
均设置为true
时日志崩溃的问题。 -
修复了在启用 ParallelApply * 功能时任务崩溃,但在使用 Amazon Kinesis Data Streams 作为源时,某些表没有默认主键的问题。
-
修复了在使用 Amazon Kinesis Data Streams 作为来源 StreamArn 时未因错误而出现错误的问题。
-
修复了使用主键值作为空字符串会导致任务在 OpenSearch 用作目标时崩溃的问题。
-
修复了数据验证使用过多磁盘空间的问题。
主题 | 解决方案 |
---|---|
SAP ASE odbc 驱动程序 | 修复了 SAP ASE 作为源时的一个问题,以便 ODBC 驱动程序可以支持字符集。 |
用于 lob 查找的 Sqlserver 日期时间主键错误 |
修复了 SQL Server 作为源,在主键具有日期时间数据类型且精度为毫秒时,LOB 查找无法正常工作的问题。 |
SQL Server 到亚马逊 redshift — “dateTimeOffset” 映射到 “timestamptz” |
对于从 SQL Server 到 Amazon Redshift 的迁移,改进了映射,使 SQL Server 的 “日期时间偏移量” 格式映射到 Amazon Redshift 的 “时间戳记” 格式。 |
数据验证- SkipLobColumns 是真的 |
修复了当 SkipLobColumns 为 True、源上有 LOB、主键位于最后一列且通过验证检测到数据差异时 DMS 任务崩溃的问题。 |
以 MySQL 为源时的数据验证 |
修复了 MySQL 作为数据源且启用了数据验证时,使用具有 null 值的复合唯一键的表会发生 DMS 任务崩溃的问题。 |
MySQL 作为源 |
修复了将 MySQL 作为源时,在更改列以增加精度时,表会因溢出错误而暂停的问题。 |
MySQL ODBC 驱动程序升级到 8.0.23 |
修复了 MySQL 作为源时,排序规则“utf8mb4_0900_bin”与 DMS 使用的 mysql 驱动程序不兼容的问题。 |
MySQL – 支持分区表的 DDL 更改 |
引入了新的 MySQL 端点设置, skipTableSuspensionForPartitionDdl 允许用户在 CDC 期间因分区 DDL 更改而跳过暂停表,这样 DMS 现在可以支持对已分区的 MySQL 表进行 DDL 更改。 |
MongoDB 向亚马逊 Redshift 迁移 |
修复了 MongoDB 到 Amazon Redshift 迁移的问题,即如果 MongoDB 集合具有二进制数据类型,则 DMS 无法在 Amazon Redshift 上创建目标表。 |
亚马逊 Redshift 目标——批量申请时空旅行分段错误 |
修复了 Amazon Redshift 作为目标的问题,即在 BatchApplyEnabled 设置为 true 时,DMS 任务会崩溃。 |
以亚马逊 Redshift 为目标 |
修复了将 Amazon Redshift 作为目标的问题,即在并行加载设置为 type=partitions-auto 时,并行分段会将批量 CSV 文件写入同一个表目录并相互干扰。 |
以亚马逊 Redshift 为目标 |
修复了将 Amazon Redshift 作为目标的问题,即在 CDC 期间,目标列的类型为布尔值,而来源的类型为不同的字符。 |
以亚马逊 Redshift 为目标 |
改进了任务日志,以识别无法复制到 Amazon Redshift 作为目标的 DDL 更改。 |
使用 PostgreSQL 时的数据验证 |
修复了 PostgreSQL 的验证中,当存在布尔数据类型时验证会失败的问题。 |
将 PostgreSQL 作为源 |
修复了 PostgreSQL 作为源的问题,因此满载时会使用额外连接属性 ExecuteTimeout 中的字段。 |
将 PostgreSQL 作为源 |
修复了 PostgreSQL 作为源的问题,如果任务 LSNs 读取的内容大于请求的任务,则任务将失败。恢复 LSN 超过 60 分钟,以表明正在使用的复制槽有问题。 |
PostgreSQL 作为源 – 1970-01-01 之前的 timestamptz |
修复了在 PostgreSQL 作为源时,1970-01-01 之前的 timestamptz 在 CDC 期间无法正确迁移的问题。 |
将 PostgreSQL 作为源 |
修复了在 PostgreSQL 作为源时,CDC 期间 DMS 会截断可变字符数据类型值的问题。 |
PostgreSQL 作为源 – 恢复已停止的任务 |
修复了 PostgreSQL 作为源时,恢复之前停止的任务重放会在 CDC 期间错过一个或多个事务的问题。 |
Amazon S3 作为目标 |
修复了 S3 作为目标的问题,即当为 true 且 AddColumnName TimestampColumnName 为 “” 时,生成的 CSV 文件标题会偏离一列。 |
Amazon S3 作为源 – 任务的完全加载阶段的内存使用行为 |
修复了 S3 作为源时,处于完全加载阶段的 DMS 任务仅在整个表加载到目标数据库后才释放所用内存的问题。 |
Amazon S3 作为目标 – 表重新加载操作 |
修复了使用 S3 作为目标时,表重新加载操作未生成 CDC 文件的问题。 |
AWS Database Migration Service 3.4.5 版本说明
下表显示了 AWS Database Migration Service (AWS DMS) 版本 3.4.5 中引入的新功能和增强功能。
新特征或增强功能 | 描述 |
---|---|
支持将 Redis OSS 作为目标 | AWS DMS 现在支持 Redis OSS 作为目标。现在 AWS DMS,您可以使用,将实时数据从任何 AWS DMS 支持的来源迁移到 Redis OSS 数据存储,停机时间最短。有关 AWS DMS 目标的信息,请参见数据迁移的目标。 |
支持将 MongoDB 4.2 和 4.4 作为源 | AWS DMS 现在支持 MongoDB 4.2 和 4.4 作为源代码。使用 AWS DMS,您现在可以将数据从 MongoDB 4.2 和 4.4 集群迁移到 AWS DMS 任何支持的目标,包括亚马逊 DocumentDB(兼容 MongoDB),停机时间最短。有关 AWS DMS 来源的信息,请参见数据迁移的源。 |
使用 MongoDB 作为源时支持多个数据库 | AWS DMS 现在支持使用 MongoDB 作为源在一个任务中迁移多个数据库。现在 AWS DMS,您可以使用 MongoDB 集群的多个数据库进行分组,并使用一个数据库迁移任务进行迁移。您可以迁移到任何 AWS DMS 支持的目标,包括 Amazon DocumentDB(兼容 MongoDB),停机时间最短。 |
支持使用 MongoDB 或 Amazon DocumentDB(与 MongoDB 兼容)作为源时的自动分段 | AWS DMS 现在支持使用 MongoDB 或亚马逊 DocumentDB 作为来源进行自动分段。使用 AWS DMS,您可以配置数据库迁移任务,以自动分段 MongoDB 或 DocumentDB 集群的集合。然后,您可以将区段并行迁移到任何 AWS DMS 支持的目标,包括 Amazon DocumentDB,同时最大限度地减少停机时间。 |
Amazon Redshift 完全加载性能改进 | AWS DMS 现在支持在满负荷期间使用 Amazon Redshift 作为目标时使用并行线程。通过利用多线程满载任务设置,您可以提高从任何 AWS DMS 支持的来源到 Amazon Redshift 的初始迁移性能。有关 AWS DMS 目标的信息,请参见数据迁移的目标。 |
AWS DMS 3.4.5 中解决的问题包括:
-
修复了在使用 PostgreSQL 作为源且具有高事务并发度时,恢复操作后数据可能会丢失或重复的问题。
-
修复了在使用 PostgreSQL 作为源且启用了 pglogical 插件时,数据库迁移任务失败并显示错误找不到关系 ID... 的问题。
-
修复了使用 PostgreSQL 作为源并使用 Oracle 作为目标时,
VARCHAR
列未正确复制的问题。 -
修复了使用 PostgreSQL 作为源,当主键不是表定义中的第一列时无法正确捕获删除操作的问题。
-
修复了在使用 MySQL 作为源时,在特殊元数据设置下数据库迁移任务会错过 LOB 更新的问题。
-
修复了使用 MySQL 版本 8 作为源时,在完整 LOB 模式下
TIMESTAMP
列被视为DATETIME
问题。 -
修复了使用 MySQL 5.6.4 及更高版本作为源时,解析
NULL DATETIME
记录时数据库迁移任务失败的问题。 -
修复了使用 Amazon Redshift 作为目标且使用并行应用时,遇到线程正在退出错误后数据库迁移任务卡住的问题。
-
修复了在批量应用 CDC 期间,数据库迁移任务与 Amazon Redshift 目标端点断开连接时可能会丢失数据的问题。
-
使用 Amazon Redshift 作为目标时,通过调用
ACCEPTINVCHARS
来提高完全加载的性能。 -
修复了使用 Amazon Redshift 作为目标从 one-by-one模式恢复到并行应用模式时复制重复记录的问题。
-
修复了在使用 Amazon S3 作为目标时,数据库迁移任务不会通过
cannedAclForObjects=bucket_owner_full_control
将 Amazon S3 对象所有权切换为存储桶所有者的问题。 -
使用 Oracle 作为来源
additionalArchivedLogDestId
时, AWS DMS 通过使用 ECA 支持多个存档目标而得到改进。 -
修复了在完整 LOB 模式下更新 LOB 列时,数据库迁移任务失败并出现错误
OCI_INVALID_HANDLE
的问题。 -
修复了使用 Oracle 作为源时,CDC 期间无法正确迁移
NVARCHAR2
列的问题。 -
AWS DMS 通过
SafeguardPolicy
在使用适用于 SQL Server 的 RDS 作为源时启用而得到改进。 -
修复了使用非 RDS SQL Server 源时,数据库迁移任务报告有关
rdsadmin
的错误的问题。 -
修复了使用 SQL Server 作为源时,在分区设置中将 UUID 作为主键时数据验证失败的问题。
-
修复了使用 Db2 LUW 作为源时,如果在数据库日志中找不到所需的 LSN,则完全加载 + CDC 任务可能会失败的问题。
-
AWS DMS 通过在使用 MongoDB 作为源时支持自定义 CDC 时间戳进行了改进。
-
修复了使用 MongoDB 作为源,MongoDB 驱动程序出现错误
endSessions
而停止时,数据库迁移任务会卡住的问题。 -
修复了使用 DynamoDB 作为目标时 AWS DMS 无法更新非主要字段的问题
-
修复了数据验证报告在
CLOB
和NCLOB
列上的误报不匹配的问题。 -
修复了使用 Oracle 作为源时,只有空格的记录的数据验证失败的问题。
-
修复了截断分区表时数据库迁移任务崩溃的问题。
-
修复了创建
awsdms_apply_exceptions
控制表时数据库迁移任务失败的问题。 -
扩展了使用 MySQL 版本 8 时,对
caching_sha2_password
身份验证插件的支持。
AWS Database Migration Service 3.4.4 发行说明
下表显示了 AWS DMS 版本 3.4.4 中引入的新功能和增强功能。
新特征或增强功能 | 描述 |
---|---|
使用 Kafka 作为目标时,支持 TLS 加密以及 TLS 或 SASL 身份验证, | AWS DMS 现在支持使用 Amazon MSK 和本地 Kafka 集群作为目标的 TLS 加密以及 TLS 或 SASL 身份验证。有关对 Kafka 端点使用加密和身份验证的更多信息,请参阅使用传输层安全性连接到 Kafka () TLS。 |
AWS DMS 3.4.4 中解决的问题包括以下内容:
-
改进了使用 Oracle 端点时任务失败的 AWS DMS 日志记录。
-
在 Oracle Data Guard 故障转移后,当 Oracle 源端点切换角色时,改进的 AWS DMS 任务执行会继续处理。
-
在使用 Oracle 端点时,改进的错误处理将 ORA-12561 视为可恢复的错误。
-
修复了使用 Oracle 作为源时,
EMPTY_BLOB()
和EMPTY_CLOB()
列作为 null 迁移的问题。 -
修复了使用 SQL Server 作为源时,添加列 DDL 更改后, AWS DMS 任务无法更新记录的问题。
-
通过支持
TIMESTAMP WITH TIME ZONE
数据类型改进了 PostgreSQL 作为源时的迁移功能。 -
修复了使用 PostgreSQL 作为目标时,
afterConnectScript
设置在完全加载期间不起作用的问题。 -
引入了一个新
mapUnboundedNumericAsString
设置,以便在使用 PostgreSQL 端点时,更好地处理没有精度和小数位数的NUMERIC
日期类型。 -
修复了在使用 PostgreSQL 作为源时,停止并恢复 AWS DMS 任务后任务失败并显示 “0 行受到影响” 的问题。
-
修复了使用 PostgreSQL 作为源时 AWS DMS 无法迁移带
BC
后缀TIMESTAMP
的数据类型的问题。 -
修复了使用 PostgreSQL 作为源时 AWS DMS 无法迁移
TIMESTAMP
值 “±infinity” 的问题。 -
修复了使用 S3 作为源时,
csvNullValue
设置被设置为其他值的情况下将空字符串作为NULL
进行处理的问题。 -
改进了使用 S3 作为目标时,完全加载和 CDC 中的
timestampColumnName
额外连接属性在 CDC 期间可进行排序。 -
改进了使用 S3 作为源时,对十六进制格式的二进制数据类型(例如
BYTE
、BINARY
和BLOB
)的处理。 -
修复了使用 S3 作为目标时,已删除的记录会使用特殊字符迁移的问题。
-
修复了使用 Amazon DocumentDB(与 MongoDB 兼容)作为目标时处理空键值的问题。
-
修复了使用 MongoDB
NumberDecimal
或 Amazon DocumentDB(兼容 MongoDB)作为源时 AWS DMS 无法复制或Decimal128
列的问题。 -
修复了在 MongoDB 或 Amazon DocumentDB(与 MongoDB 兼容)作为源时,其上出现失效转移时允许 CDC 任务重试的问题。
-
添加了一个选项,用于在使用 Kinesis、Kafka 或作为目标时删除
RAW
数据类型值的十六进制 “0x” 前缀。 OpenSearch -
修复了使用 Db2 LUW 作为源时,对固定长度的字符列进行验证失败的问题。
-
修复了只有源数据类型或目标数据类型为
FLOAT
或DOUBLE
时验证失败的问题。 -
修复了使用 Oracle 作为源时,
NULL
字符的验证失败的问题。 -
修复了使用 Oracle 作为源时,XML 列的验证失败的问题。
-
修复了使用 MySQL 作为源的复合键中存在可为空的列时 AWS DMS 任务崩溃的问题。
-
修复了 AWS DMS 无法验证 SQL Server 源端点
UNIQUEIDENTIFIER
中的两列和 PostgreSQL 目标端点的 UUID 列的问题。 -
修复了在源表定义修改之后,CDC 任务不使用更新的源表定义的问题。
-
改进了 AWS DMS 故障转移功能,可将由无效的用户名或密码导致的任务失败视为可恢复的错误。
-
修复了使用适用于 SQL Server 的 RDS 作为源 LSNs 时 AWS DMS 任务因缺失而失败的问题。
AWS Database Migration Service 3.4.3 版本说明
下表显示了 AWS DMS 版本 3.4.3 中引入的新功能和增强功能。
新特征或增强功能 | 描述 |
---|---|
新 Amazon DocumentDB 版本 | 现在支持将 Amazon DocumentDB 版本 4.0 作为源。 |
新 MariaDB 版本 | 现在支持将 MariaDB 版本 10.4 作为源和目标。 |
Support 对 AWS Secrets Manager 集成 | 您可以将支持的端点的数据库连接详细信息(用户凭证)安全地存储在 AWS Secrets Manager中。然后,您可以在创建或修改终端节点 AWS DMS 时向其提交相应的密钥而不是纯文本凭证。 AWS DMS 然后使用密钥连接到端点数据库。有关为 AWS DMS 终端节点创建密钥的更多信息,请参阅使用密钥访问 AWS Database Migration Service 端点。 |
C5 和 R5 复制实例的更大选项 | 现在,您可以创建以下更大的复制实例大小:C5 的大小最大为 96 v CPUs 和 192 GiB 的内存,R5 的大小最大为 96 v CPUs 和 768 GiB 的内存。 |
Amazon Redshift 性能改进 | AWS DMS 现在在使用 Amazon Redshift 作为目标时支持并行应用,以提高正在进行的复制的性能。有关更多信息,请参阅 Amazon Redshift 的多线程任务设置。 |
AWS DMS 3.4.3 中解决的问题包括以下内容:
-
修复了使用 Db2 LUW 作为源时,延迟事件的提交时间戳变为“1970-01-01 00:00:00”的问题。
-
修复了在完整 LOB 模式下使用 SQL Server 作为源时,使用
NVARCHAR
列作为主键的 AWS DMS 任务失败的问题。 -
修复了使用 SQL Server 作为源时,在缓存更改阶段缺少记录的问题。
-
修复了使用适用于 SQL Server 的 RDS 作为源时, AWS DMS 任务恢复后会跳过记录的问题。
-
修复了 ASSERTIO AWS DMS N 日志组件为 SQL Server 生成大型日志的问题。
-
修复了使用 MySQL 作为源时,由于列解析溢出而在 CDC 阶段数据验证失败的问题。
-
修复了在使用 PostgreSQL 作为目标时,由于数据验证期间出现分段错误而导致 AWS DMS 任务崩溃的问题。
-
修复了使用 PostgreSQL 作为源和目标时,CDC 期间 DOUBLE 数据类型的数据验证失败的问题。
-
修复了使用 PostgreSQL 作为源并将 Amazon Redshift 用作目标时,通过复制命令插入的记录无法正确复制的问题。
-
修复了使用 PostgreSQL 作为源时,缓存更改阶段的数据丢失问题。
-
修复了使用 PostgreSQL 作为源时可能导致数据丢失或记录重复的问题。
-
修复了使用 PostgreSQL 作为源时,无法使用 pglogical 迁移混合大小写的架构的问题。
-
修复了使用 Oracle 作为源时,最后一条失败消息不包含 ORA 错误的问题。
-
修复了使用 Oracle 作为目标时 AWS DMS 任务无法构建 UPDATE 语句的问题。
-
修复了使用 Oracle 12.2 作为带有 ASM 和可插拔数据库配置的源时, AWS DMS 任务无法复制数据的问题。
-
使用 S3 作为源时,通过保留限额以遵守 RFC 4180,改进了记录解析。
-
改进了
timestampColumnName
的处理,使得完全加载中的列可以使用来自 CDC 的该值排序。 -
通过引入新的端点设置
MessageMaxBytes
,修复了 LOB 元素大于 1MB 时 AWS DMS 任务失败的问题。 -
修复了在使用 Amazon Redshift 作为目标时,由于分段错误而导致 AWS DMS 任务崩溃的问题。
-
改进了 Amazon Redshift 测试连接的错误记录。
-
修复了在满载期间 AWS DMS 未将所有文档从 MongoDB 传输到 DocumentDB 的问题。
-
修复了当表映射规则中没有表时, AWS DMS 任务会报告致命错误的问题。
-
修复了使用 MySQL 作为源时,在重新启动 AWS DMS 任务之前创建的架构和表无法复制到目标的问题。
-
修复了使用 MySQL 作为源时,通配符转义 [_] 无法转义排除规则中的通配符“_”的问题。
-
修复了使用 MySQL 作为源时,数据类型为 UNSIGNED BIGINT 的列无法正确复制的问题。
AWS Database Migration Service 3.4.2 版本说明
下表显示了 AWS DMS 版本 3.4.2 中引入的新功能和增强功能。
新特征或增强功能 | 描述 |
---|---|
支持以私密方式将您的亚马逊虚拟私有云(Amazon VPC)连接到 AWS 数据库迁移服务(DMS),而无需互联网网关、NAT 设备、VPN 连接或 AWS Direct Connect 连接。 | 现在,您可以通过自己创建的 VPC 接口终端节点连接和访问 AWS DMS 您的 Amazon VPC。此接口终端节点允许您将 AWS DMS 复制实例的所有网络活动隔离在 Amazon 网络基础设施中。通过在使用 AWS CLI 或 SDK 的所有 API 调用中引 AWS DMS 用此接口终端节点,可以确保所有 AWS DMS 活动对公共 Internet 不可见。有关更多信息,请参阅 AWS Database Migration Service 中的基础设施安全性。注意此功能适用于所有支持的 AWS DMS 引擎版本。 |
使用 Amazon S3 作为目标时的基于 CDC 日期的文件夹分区 |
AWS DMS 在使用 S3 作为目标复制数据时,现在支持基于日期的文件夹分区。有关更多信息,请参阅 使用基于日期的文件夹分区。 |
AWS DMS 3.4.2 中解决的问题包括:
-
在使用亚马逊 Redshift 作为目标执行迁移时添加了一个
STATUPDATE
选项。 -
通过引入新设置改进了验证任务。
ValidQueryCdcDelaySecond
会延迟源端点和目标端点上的第一个验证查询,以帮助在迁移延迟较高时减少资源争用。 -
修复 AWS DMS 了启动验证任务需要很长时间的问题。
-
修复了使用 S3 作为目标,在启动或停止复制任务时生成空记录的问题。
-
修复了任务在完全加载完成后卡住的问题。
-
修复了使用 S3 作为源,在源表出现数据错误时任务卡住的问题。
-
修复了禁用了源端点的用户账户时,任务在启动时卡住的问题。
-
修复了使用 PostgreSQL 作为源,在
REPLICA IDENTITY FULL
时任务崩溃的问题。 -
修复了使用 PostgreSQL 作为源且带有 pglogical 插件时,任务会错过事务的问题。
-
修复了使用 Amazon Redshift 作为目标时 AWS DMS 未删除压缩源文件的问题。
-
修复了使用 MySQL 作为源和目标且数据类型为
BIGINT UNSIGNED
时,验证任务会出现误报的问题。 -
修复了使用 SQL Server 作为源且主键列为 CHAR 类型时,验证任务出现误报的问题。
-
修复了使用
start-replication
S3 作为目标启动复制任务时 AWS DMS 无法清除目标对象的问题。 -
修复了使用 Db2 作为源时数据验证的几个问题。
-
修复了使用 SQL Server 作为源且使用 VARCHAR 列作为主键时,验证任务卡住的问题。
-
增加了使用 PostgreSQL 作为源时,对数据类型 TIMESTAMP WITH TIMEZONE 的支持。
AWS Database Migration Service 3.4.1 测试版发行说明
下表显示了 AWS DMS 版本 3.4.1 中引入的新功能和增强功能。
新特征或增强功能 | 描述 |
---|---|
新 MongoDB 版本 |
现在支持将 MongoDB 版本 4.0 作为源。 |
SQL Server 的 TLS 1.2 支持 |
AWS DMS 现在支持 SQL 服务器端点的 TLS 1.2。 |
AWS DMS 3.4.1 测试版中解决的问题包括以下内容:
-
改进了 Oracle 19c TDE 支持。
-
使用亚马逊 Redshift 作为目标,改进了对 utf8mb4 字符集和身份数据类型的支持。
-
改进了使用 MySQL 作为源且没有二进制日志时的复制任务失败处理。
-
改进了对各种数据类型和字符集的数据验证支持。
-
使用 Kinesis 和 Kafka 作为目标时,通过新的端点设置
IncludeNullAndEmpty
改进了 null 值处理。 -
改进了使用 Kafka 作为目标时的错误日志记录和处理。
-
改进了使用 SQL Server 作为源时的 DST 时间偏移。
-
修复了将 Oracle 作为目标时,复制任务尝试创建现有表的问题。
-
修复了使用 Oracle 作为源时,数据库连接终止后复制任务会卡住的问题。
-
修复了使用 SQL Server 作为源并使用 AlwaysON 设置时,复制任务无法检测并重新连接到新主服务器的问题。
-
修复了在 S3 作为目标时,特定条件下复制任务不会为
"OP"
列添加"D"
的问题。
AWS Database Migration Service 3.4.0 测试版发行说明
下表显示了 AWS DMS 版本 3.4.0 中引入的新功能和增强功能。
新特征或增强功能 | 描述 |
---|---|
新 MySQL 版本 |
AWS DMS 现在支持 MySQL 8.0 版本作为源,但压缩事务负载时除外。 |
MySQL 支持 TLS 1.2 |
AWS DMS 现在支持 MySQL 端点的 TLS 1.2。 |
新 MariaDB 版本 |
AWS DMS 现在支持 MariaDB 版本 10.3.13 作为源代码。 |
SysAdmin 无法访问自行管理的 Microsoft SQL Server 源代码 |
AWS DMS 现在支持非SysAdmin 用户访问本地和 EC2托管的 SQL Server 源端点。 注意此功能目前为测试版。如果您想试一试,请联系 AWS 支持人员以获取更多信息。 |
使用 CREATE TABLE
AS 创建的 CDC 任务和 Oracle 源表 |
AWS DMS 现在支持针对使用该语句创建的 Oracle 源表运行满载任务以及仅限 CDC 和 CDC 的任务。 |
AWS DMS 3.4.0 中解决的问题包括:
-
改进了迁移前任务评测。有关更多信息,请参阅 为任务启用和使用迁移前评估。
-
改进了对浮点数、实数和双精度数据类型的数据验证。
-
通过更好地处理以下错误,改进了将 Amazon Redshift 作为目标时的性能:“指定的密钥不存在”。
-
支持以亚马逊 OpenSearch 服务(OpenSearch 服务)为目标的多线程 CDC 加载任务设置,包括
ParallelApplyThreads
ParallelApplyQueuesPerThread
、和。ParallelApplyBufferSize
-
通过支持使用复合主键来改进 OpenSearch 服务即目标。
-
修复了使用 PostgreSQL 作为源且密码中包含特殊字符时,测试连接失败的问题。
-
修复了使用 SQL Server 作为源时某些
VARCHAR
列被截断的问题。 -
修复了使用 Amazon RDS SQL Server 作为来源时无法关闭 AWS DMS 未结交易的问题。如果轮询间隔参数设置不正确,这可能会导致数据丢失。有关如何设置建议的轮询间隔值的更多信息,请参阅将 Microsoft SQL Server 数据库作为 AWS DMS 的源。
-
修复了使用 Oracle Standby 作为源,在使用 Binary Reader 时 CDC 任务会意外停止的问题。
-
修复了 IBM f DB2 or LUW 的任务失败并显示消息 “数字文字 0 无效,因为其值超出范围” 的问题。
-
修复了在以下情况中出现的问题:从 PostgreSQL 迁移到 PostgreSQL,当 PostgreSQL 源中添加了新列,并且创建该列使用的数据类型,与最初在源上创建该列的数据类型不同时。
-
修复了 MySQL 源中,当迁移任务在无法获取二进制日志时意外停止的问题。
-
修复了使用
BatchApply
时与 Oracle 目标相关的问题。 -
修复了迁移
TIME
数据类型时 MySQL 和 MariaDB 中的问题。 -
修复了 IBM DB2 LUW 源的一个问题,即当表没有主键或唯一键时,使用迁移表 LOBs 失败。
AWS Database Migration Service 3.3.4 版本说明
AWS DMS 3.3.4 中解决的问题包括:
-
修复了使用 PostgreSQL 作为源时事务被丢弃或重复的问题。
-
改进了对在架构名称中使用美元符号($)的支持。
-
修复了使用 RDS SQL Server 作为源时,复制实例不关闭未完成事务的问题。
-
修复了使用 PostgreSQL 作为源且密码中包含特殊字符时,测试连接失败的问题。
-
通过更好地处理以下错误:“指定的密钥不存在”,改进了作为目标的亚马逊 Redshift。
-
改进了对各种数据类型和字符集的数据验证支持。
-
修复了将 Oracle 作为目标时,复制任务尝试创建现有表的问题。
-
修复了将 Amazon S3 作为目标时,在特定条件下复制任务不会为
"OP"
列添加"D"
的问题。
AWS Database Migration Service 3.3.3 发行说明
下表显示了 AWS DMS 版本 3.3.3 中引入的新功能和增强功能。
新特征或增强功能 | 描述 |
---|---|
新 PostgreSQL 版本 |
现在支持将 PostgreSQL 版本 12 作为源和目标。 |
支持以亚马逊 OpenSearch 服务为目标的复合主密钥 |
从 AWS DMS 3.3.3 开始, OpenSearch 服务目标支持使用复合主键。 |
支持 Oracle 扩展数据类型 |
现在支持 Oracle 源和目标采用 Oracle 扩展数据类型。 |
增加每个账户的 AWS DMS 资源数量 | 您可以创建的 AWS DMS 资源数量限制已增加。有关更多信息,请参阅 AWS Database Migration Service 的配额。 |
AWS DMS 3.3.3 中解决的问题包括以下内容:
-
修复了在 Amazon Kinesis 中通过“并行应用”使用特定更新语句时任务崩溃的问题。
-
修复了以 Amazon S3 为目标执行 ALTER TABLE 语句时任务崩溃的问题。
-
修复了使用 Microsoft SQL Server 作为源时多边形列上的值被截断的问题。
-
修复了使用 Oracle 作为源时 JA16 SJISTILDE 和 JA16 EUCTILDE 的 Unicode 转换器出现的问题。
-
修复了 MEDIUMTEXT 列和 LONGTEXT 列无法从 MySQL 迁移到 S3 逗号分隔值 (CSV) 格式的问题。
-
修复了 Apache Parquet 输出中布尔列被转换为不正确类型的问题。
-
修复了 Oracle 中扩展 varchar 列的问题。
-
修复了特定的时间戳组合导致数据验证任务失败的问题。
-
修复了 Sybase 数据定义语言 (DDL) 复制的问题。
-
修复了 Oracle Binary Reader 发生 Oracle Real Application Clusters (RAC) 源崩溃的问题。
-
修复了 Oracle 目标验证中与架构名称大小写有关的问题。
-
修复了 IBM Db2 版本 9.7 和 10 的验证问题。
-
修复了启用
StopTaskCachedChangesNotApplied
和StopTaskCachedChangesApplied
后任务不会停止两次的问题。