版本:v5.6
IBM Db2
Db2 数据节点支持作为数据源与数据目的地,当 Db2 作为数据源时,系统支持通过 IBM InfoSphere Data Replication 以及 JDBC 读取方式获取增量/全量数据;当 Db2 作为目的地时,系统支持通过 JDBC 写入 Db2 数据。
配置要求
在进行配置之前,请务必检查您的IBM Db2 数据节点是否符合平台要求,参考如下:
| 要求 | 详情 |
|---|---|
| 版本要求 | + Agent 读取模式支持通过 11.4 版本的 IBM InfoSphere Data Replication 采集 Db2 数据 + JDBC 读取模式支持 9.7、10.1、10.5、11.1 版本; + JDBC 写入模式支持 9.7、10.1、10.5、11.1 版本 |
| 权限要求 | 1. JDBC 读取模式:需要SELECT权限。 2. JDBC 写入模式:需要SELECT、CREATE OBJECT、INSERT、UPDATE、DELETE、ALTER TABLE权限。 3. IBM InfoSphere Data Replication读取模式需要相应数据库的Data access 角色; |
| 其他要求 | 1. 当Db2作为数据源,读取模式为JDBC 时,如果您希望读取增量数据,需要同步的表需拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt)。 2. 当Db2作为数据源,读取模式为IBM InfoSphere Data Replication 时,请您确保您公司的IBM InfoSphere Data Replication可以正常使用。 3. 支持IBM InfoSphere Data Replication版本:11. |
| IBM InfoSphere Data Replication 要求 | 1. IBM InfoSphere Data Replication 支持 10.2、11.4 版本 2. Access Server 支持 windows / linux 操作系统版本 3. 需保证通过 Management Console 可以完成 IBM InfoSphere Data Replication mirror / refresh 模式数据同步操作 |
| DB2 DataStore 要求 | 您的 IBM InfoSphere Data Replication 支持的 Db2 版本 |
当 Db2 节点作为数据源,读取模式为 JDBC 时,DataPipeline 通过 JDBC Driver 连接到数据库并读取源端数据,该读取模式支持定时增量同步和定时全量同步。
当 Db2 节点作为数据源,读取模式为 IBM InfoSphere Data Replication 时,DataPipeline 通过 IBM InfoSphere Data Replication 连接 Db2 数据库,通过访问 Access Server API,创建 Datastore,根据数据任务所需同步数据创建订阅,并管理订阅状态。
在使用 IBM InfoSphere Data Replication 作为数据读取 Agent 读取 IBM Db2 数据时,DataPipeline 将根据数据任务所需,创建一条读取数据源 Db2 并将数据写入 Kafka 缓存的数据任务,作为数据读取缓存,并由 DataPipeline Source 组建读取缓存数据,同步至数据目的地。
因此需要 IBM InfoSphere Data Replication 的连接信息,包括 Access Server 连接信息,Db2 Agent 连接信息,KafkaAgent 连接信息,Kafka 连接信息。
操作步骤
- 点击数据节点列表 → 新增数据节点
- 填写节点名称、描述,选择节点类型为 Db2
- 如您需要以 JDBC 模式读取 Db2 数据,或向 Db2 写入数据,请填写 JDBC 连接信息
- 服务器地址:输入连接数据目的地的域名或 IP 地址。
- 端口:输入连接数据目的地的端口值。
- 数据库名称:要求连接数据库的名称。
- 用户名和密码:输入可访问该数据目的地的用户名和密码。
- 进行节点可用性校验
- 可用性校验完成后即进入节点详情页面
- 如您需要以 IBM InfoSphere Data Replication 读取 Db2 数据,请选择节点的版本,填写 IBM InfoSphere Data Replication 信息
- 填写 Access Server 连接信息,Db2 Agent 连接信息,KafkaAgent 连接信息,Kafka 连接信息
- 您可以在完成配置之后点击左下角的连接测试 Access Server 信息的准确
- 点击保存按钮保存该页配置,进行节点初始化,进行节点初始化即链接 Access Server 并创建 Datastore
- 节点初始化完成后即进入节点详情页面
注意事项
信息
- 数据缓存 Kafka 连接信息通常为 DataPipeline Kafka 组件的连接信息,您可以通过查看产品部署服务器中的 Kafka 容器、Zookeeper 容器、Schema Registry 容器来获取 Kafka 信息;您也可以使用自己的 Kafka 作为数据缓存,但必须保证相应配置与权限符合系统要求。
- 当前cdc要配置的kafka 暂不支持加密。
警告
- 当数据源 DECIMAL 类型有精度但没有标度时,IBM CDC 处理该数据会将标度自动变成 0,故后续数据写入过程中,可能会导致数值类型数据丢失小数点后的部分。\ 您需要在语义映射页面指定 DECIMAL 类型对应目的地类型的标度映射,以免发生数据丢失。
- 当 Db2 数据节点同时使用 IBM CDC 与 JDBC 进行连接时,将会优先使用 JDBC 获取元数据信息
- 由于 JDBC 与 IBM CDC 连接方式获取的元数据信息不同,当其中之一连接信息发生变更或不可用时,可能会触发数据节点元数据变更,从而导致数据链路中出现结构变化标识。
- DB2 在7.1版本以后的版本,表名称支持的长度是大于CDC解析的能力的。因此如果全量使用了JDBC方式,增量采用了CDC的方式的话,需要表名满足cdc解析的要求,当前cdc解析表名称的限制是10个字符。