版本:v4.14
DB2 for i (AS/400)
DB2 for i (AS/400)数据节点支持作为数据源,当DB2 for i (AS/400)作为数据源时,系统支持通过IBM InfoSphere Data Replication以及JDBC读取方式获取增量/全量数据。
配置要求
在进行配置之前,请务必检查您的IBM Db2 数据节点是否符合平台要求,参考如下:
| 要求 | 详情 |
|---|---|
| 版本要求 | 1. 7.1版本 |
| 权限要求 | 1. JDBC 读取模式: 1. 相关系统表 / 视图的 SELECT 权限:QSYS2.SYSSCHEMAS,QSYS2.SYSINDEXES,QSYS2.SYSCSTCOL,QSYS2.SYSCST,QSYS2.SYSTABLESTAT,QSYS2.SYSCOLUMNS 2. 相关系统表 / 视图的 EXECUTE 权限:QSYS2.ACTIVE_JOB_INFO(),QSYS2.QCMDEXC() 3. 同步表的 SELECT 权限 2. IBM InfoSphere Data Replication读取模式: 1. 通过 WRKOBJ OBJ(QSYS/D_MIRROR) OBJTYPE(*USRPRF) 命令,查看 D_MIRROR 用户的权限集合是否符合要求 |
| 其他要求 | 1. JDBC读取模式: 1. 当您需要通过 JDBC 读取模式读取增量数据时,要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt) 2. IBM InfoSphere Data Replication读取模式: 1. 创建 DB2 数据节点前,需要在 IBM InfoSphere Data Replication 中创建对应的 DB2 instance、Kafka instance。 2. 需保证登录 Access Server 的用户可通过 Management Console 可以完成 IBM InfoSphere Data Replication 中订阅的创建、编辑、镜像复制、全量刷新操作。 |
| IBM InfoSphere Data Replication 要求 | 1. IBM InfoSphere Data Replication 支持 11.4 版本; 2. Access Server 支持 windows / linux 操作系统, 支持 DB2 for i (AS400) 7.1 版本; 3. 需保证通过 Management Console 可以完成 IBM InfoSphere Data Replication mirror / refresh 模式数据同步操作 |
| DB2 DataStore 要求 | 您的 IBM InfoSphere Data Replication 支持的 DB2 for i (AS400) 版本 |
JDBC读取模式通过 JDBC Driver 连接到数据库并读取源端数据,该读取模式支持定时增量同步和定时全量同步。
IBM InfoSphere Data Replication 读取模式通过访问Access Server API 创建Datastore,根据数据任务所需同步数据创建订阅,并管理订阅状态。DataPipeline将根据数据任务所需,创建一条读取数据源并将数据写入Kafka缓存的数据任务,作为数据读取缓存,并由DataPipeline Source组建读取缓存数据,同步至数据目的地。因此IBM InfoSphere Data Replication读取模式需要Access Server连接信息,DB2 Agent连接信息,KafkaAgent连接信息,Kafka连接信息。
操作步骤
- 点击数据节点列表→新增数据节点
- 填写节点名称、描述,选择节点类型为DB2 for i (AS/400)
- 如您需要以JDBC模式读取DB2 for i (AS/400)数据,请填写JDBC连接信息
- 服务器地址:输入连接数据目的地的域名或IP地址。
- 端口:输入连接数据目的地的端口值。
- 数据库名称:要求连接数据库的名称。
- 用户名和密码:输入可访问该数据目的地的用户名和密码。
- 进行节点可用性校验
- 可用性校验完成后即进入节点详情页面
- 4.如您需要以IBM InfoSphere Data Replication读取DB2 for i (AS/400)数据,请选择节点的版本,填写IBM InfoSphere Data Replication信息
- 填写Access Server连接信息,DB2 for i (AS/400) Agent连接信息,KafkaAgent连接信息,Kafka连接信息
- 您可以在完成配置之后点击左下角的连接测试Access Server信息的准确
- 点击保存按钮保存该页配置,进行节点初始化,进行节点初始化即链接Access Server并创建Datastore
- 节点初始化完成后即进入节点详情页面
注意事项
信息
- 数据缓存 Kafka 连接信息通常为 DataPipeline Kafka 组件的连接信息,您可以通过查看产品部署服务器中的 Kafka 容器、Zookeeper 容器、Schema Registry 容器来获取 Kafka 信息;您也可以使用自己的 Kafka 作为数据缓存,但必须保证相应配置与权限符合系统要求。
警告
- 当数据源DECIMAL类型有精度但没有标度时,IBM CDC处理该数据会将标度自动变成0,故后续数据写入过程中,可能会导致数值类型数据丢失小数点后的部分。您需要在语义映射页面指定DECIMAL类型对应目的地类型的标度映射,以免发生数据丢失。
- 当增量读取模式为IBM CDC时,DataPipeline使用IBM CDC连接方式获取元数据。
- IBM CDC无法解析部分字段类型,如DECFLOAT类型,返回数据类型为:UNKNOWN。在这种情况下您需要手动进行数据类型映射。
- 由于IBM CDC内部会对部分带特殊字符的字段名称做转换,如将"_"替换为0。可能会出现字段映射中展示的字段名称与JDBC查看表结构显示的字段名称不一致情况。这里的差异不会影响数据同步。