将适用于 Linux、Unix、Windows 和 Amazon RDS 数据库 (Db2 LUW) 的 IBM Db2 作为 AWS DMS 的源
您可以使用 AWS Database Migration Service (AWS DMS) 将数据从适用于 Linux、Unix、Windows 和 Amazon RDS (Db2 LUW) 数据库的 IBM Db2 迁移到任何受支持的目标数据库。
有关 AWS DMS 支持作为源的 Linux、Unix、Windows 和 RDS 上 Db2 版本的信息,请参阅 AWS DMS 的源。
可以使用安全套接字层 (SSL) 加密 Db2 LUW 端点与复制实例之间的连接。有关将 SSL 用于 Db2 LUW 终端节点的更多信息,请参阅将 SSL 与 AWS Database Migration Service 配合使用。
将 Db2 LUW 作为 AWS DMS 源时的先决条件
需要先满足以下先决条件,然后才能将 Db2 LUW 数据库作为源。
要启用持续复制(也称为更改数据捕获 (CDC)),请执行以下操作:
-
为了捕获更改,AWS DMS 要求将数据库设置为可恢复。如果数据库配置参数
LOGARCHMETH1
和/或LOGARCHMETH2
设置为ON
,则数据库是可恢复的。如果您的数据库是可恢复的,则 AWS DMS 在需要时可以访问 Db2
ARCHIVE LOG
。 -
确保 DB2 事务日志可用,并有足够的保留期以供 AWS DMS 处理。
-
DB2 需要
SYSADM
或DBADM
授权才能提取事务日志记录。向用户账户授予以下权限:SYSADM
或DBADM
DATAACCESS
注意
对于仅完全加载任务,DMS 用户账户需要 DATAACCESS 权限。
-
使用 IBM DB2 for LUW 版本 9.7 作为源时,请按如下方式设置额外连接属性(ECA):
CurrentLSN
CurrentLSN=
,这里的LSN
指定要在其中启动复制的日志序列号(LSN)。或者LSN
CurrentLSN=
。scan
-
使用 Amazon RDS for Db2 LUW 作为源时,请确保归档日志可用于 AWS DMS。由于 AWS 托管的 Db2 数据库会尽快清除归档日志,您应当延长这些日志的保留时间。例如,要将日志保留时间延长至 24 小时,请运行以下命令:
db2 "call rdsadmin.set_archive_log_retention( ?, 'TESTDB', '24')"
有关 Amazon RDS for Db2 LUW 过程的更多信息,请参阅《Amazon Relational Database Service 用户指南》中的 Amazon RDS for Db2 存储过程参考。
将 Db2 LUW 作为 AWS DMS 源时的限制
AWS DMS 不支持集群化数据库。但是,您可以为集群的每个终端节点定义一个单独的 Db2 LUW。例如,您可以使用集群中的任何一个节点创建完全加载迁移任务,然后从每个节点创建单独的任务。
AWS DMS 不支持您的源 Db2 LUW 数据库中的 BOOLEAN
数据类型。
在使用持续复制 (CDC) 时,以下限制将适用:
-
在截断具有多个分区的表时,AWS DMS 控制台中显示的 DDL 事件数将等于分区数。这是因为 Db2 LUW 为每个分区记录一个单独的 DDL。
-
已分区表上不支持以下 DDL 操作:
-
ALTER TABLE ADD PARTITION
-
ALTER TABLE DETACH PARTITION
-
ALTER TABLE ATTACH PARTITION
-
-
AWS DMS 不支持从 DB2 高可用性灾难恢复(HADR)备用实例进行持续复制迁移。备用实例无法访问。
-
不支持 DECFLOAT 数据类型。因此,在持续复制期间,将忽略对 DECFLOAT 列所做的更改。
-
不支持 RENAME COLUMN 语句。
-
在执行对多维集群化 (MDC) 表的更新时,每个更新将在 AWS DMS 控制台中显示为 INSERT + DELETE。
-
如果未启用任务设置 Include LOB columns in replication (在复制中包含 LOB 列),则将在持续复制期间暂停任何具有 LOB 列的表。
-
对于 Db2 LUW 版本 10.5 及更高版本,将忽略具有行外存储的数据的可变长度字符串列。此限制仅适用于对于具有 VARCHAR 和 VARGRAPHIC 等数据类型的列,那些使用扩展行大小创建的表。要解决此限制,请将表移至具有较大页面大小的表格空间。有关更多信息,请参阅如果我想更改 DB2 表空间的页面大小该怎么办
。 -
对于正在进行的复制,DMS 不支持对 DB2 LOAD 实用程序在页面级别加载的数据进行迁移。相反,请使用 IMPORT 实用程序,该实用程序使用 SQL 插入。有关更多信息,请参阅 IMPORT 和 LOAD 实用程序之间的区别
。 -
当复制任务正在运行时,只有在使用 DATA CAPTURE CHANGE 属性创建了表时,DMS 才捕获 CREATE TABLE DDL。
-
DMS 在使用 Db2 数据库分区特征(DPF)时有以下限制:
在 DPF 环境中,DMS 无法在 Db2 节点之间协调事务。这是由于 IBM DB2READLOG API 接口中的限制造成。在 DPF 中,事务可能跨越多个 Db2 节点,具体取决于 DB2 对数据进行分区的方式。因此,您的 DMS 解决方案必须独立地从每个 Db2 节点捕获事务。
通过在多个 DMS 源端点上将
connectNode
设置为1
,DMS 可以从 DPF 集群中的每个 Db2 节点捕获本地事务。此配置对应于 DB2 服务器配置文件db2nodes.cfg
中定义的逻辑节点号。单个 Db2 节点上的本地事务可能是更大的全局事务的一部分。DMS 在目标上独立应用每个本地事务,无需与其他 Db2 节点上的事务进行协调。这种独立的处理可能会增加复杂性,尤其是在分区之间移动行时。
当 DMS 从多个 Db2 节点复制时,无法保证目标上的操作顺序正确,因为 DMS 会独立地为每个 Db2 节点应用操作。您必须确保独立地从每个 Db2 节点捕获本地事务适用于您的特定使用案例。
从 DPF 环境迁移时,建议先运行不带缓存事件的完全加载任务,然后运行仅 CDC 任务。建议每个 Db2 节点运行一个任务,从您使用
StartFromContext
端点设置设定的完全加载开始时间戳或 LRI(日志记录标识符)开始。有关确定复制开始点的信息,请参阅 IBM 支持文档中的查找复制开始的 LSN 或 LRI 值。
-
对于持续复制(CDC),如果您计划从特定时间戳开始复制,则必须将
StartFromContext
连接属性设置为所需的时间戳。 -
目前,DMS 不支持 Db2 pureScale 功能,这是 DB2 LUW 的扩展,可以用来扩展数据库解决方案。
使用 Db2 LUW 作为 AWS DMS 的源时的端点设置
您可以使用端点设置来配置 Db2 LUW 源数据库,这与使用额外连接属性类似。您可以在使用 AWS DMS 控制台创建源端点时指定端点设置,或者在 AWS CLI 中使用符合 --ibm-db2-settings '{"
JSON 语法的 EndpointSetting"
:
"value"
, ...
}'create-endpoint
命令指定端点设置。
下表显示了将 Db2 LUW 用作源时可以使用的端点设置。
名称 | 描述 |
---|---|
|
对于持续复制 (CDC),请使用 |
|
每次读取的最大字节数,以 NUMBER 值表示。默认值为 64 KB。 |
|
启用持续复制 (CDC) 作为 BOOLEAN 值。默认值为 true。 |
|
对于持续复制(CDC),请使用
要确定日志文件的 LRI/LSN 范围,请按以下示例所示运行
该示例的输出类似于以下内容。
在该输出中,日志文件是 S0000002.LOG,StartFromContext LRI 值是范围结尾的 34 个字节。
|
IBM Db2 LUW 的源数据类型
将 Db2 LUW 作为 AWS DMS 源的数据迁移支持大多数 Db2 LUW 数据类型。下表列出了使用 AWS DMS 时支持的 Db2 LUW 源数据类型以及来自 AWS DMS 数据类型的默认映射。有关 Db2 LUW 数据类型的更多信息,请参阅 Db2 LUW 文档
有关如何查看目标中映射的数据类型的信息,请参阅使用的目标终端节点对应的部分。
有关 AWS DMS 数据类型的其他信息,请参阅AWS Database Migration Service 的数据类型。
Db2 LUW 数据类型 |
AWS DMS 数据类型 |
---|---|
INTEGER |
INT4 |
SMALLINT |
INT2 |
BIGINT |
INT8 |
DECIMAL (p,s) |
NUMERIC (p,s) |
FLOAT |
REAL8 |
DOUBLE |
REAL8 |
REAL |
REAL4 |
DECFLOAT (p) |
如果精度为 16,则为 REAL8;如果精度为 34,则为 STRING |
GRAPHIC (n) |
WSTRING,用于长度大于 0 且小于或等于 127 个双字节字符的固定长度图形字符串 |
VARGRAPHIC (n) |
WSTRING,用于长度大于 0 且小于或等于 16352 个双字节字符的可变长度图形字符串 |
LONG VARGRAPHIC (n) |
CLOB,用于长度大于 0 且小于或等于 16352 个双字节字符的可变长度图形字符串 |
CHARACTER (n) |
STRING,用于长度大于 0 且小于或等于 255 个双字节字符的固定长度字符串 |
VARCHAR (n) |
STRING,用于长度大于 0 且小于或等于 32704 个双字节字符的可变长度字符串 |
LONG VARCHAR (n) |
CLOB,用于长度大于 0 且小于或等于 32704 个双字节字符的可变长度字符串 |
CHAR (n) FOR BIT DATA |
BYTES |
VARCHAR (n) FOR BIT DATA |
BYTES |
LONG VARCHAR FOR BIT DATA |
BYTES |
DATE |
DATE |
TIME |
TIME |
TIMESTAMP |
DATETIME |
BLOB (n) |
BLOB 最大长度为 2147483647 个字节 |
CLOB (n) |
CLOB 最大长度为 2147483647 个字节 |
DBCLOB (n) |
CLOB 最大长度为 1073741824 个双字节字符 |
XML |
CLOB |