DB2 for i (AS/400)
DB2 for i (AS/400)数据节点支持作为数据源,当DB2 for i (AS/400)作为数据源时,系统支持通过IBM InfoSphere Data Replication以及JDBC读取方式获取增量/全量数据,支持过解析 Journal 的方式获取增量。
配置要求
在进行配置之前,请务必检查您的IBM Db2 数据节点是否符合平台要求,参考如下:
| 要求 | 详情 |
|---|---|
| 版本要求 | 7.1版本 |
| 权限要求 | 参考下文 |
| 其他要求 | 1. JDBC读取模式: 1. 当您需要通过 JDBC 读取模式读取增量数据时,要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt) 2. IBM InfoSphere Data Replication读取模式: 1. 创建 DB2 数据节点前,需要在 IBM InfoSphere Data Replication 中创建对应的 DB2 instance、Kafka instance。 2. 需保证登录 Access Server 的用户可通过 Management Console 可以完成 IBM InfoSphere Data Replication 中订阅的创建、编辑、镜像复制、全量刷新操作。 3. AS400 Journal 读取模式要求 1. 一个数据任务中的所有源端映射表需要有相同的 schema 并使用相同的 Journal |
| IBM InfoSphere Data Replication 要求 | 1. IBM InfoSphere Data Replication 支持 11.4 版本; 2. Access Server 支持 windows / linux 操作系统, 支持 DB2 for i (AS400) 7.1 版本; 3. 需保证通过 Management Console 可以完成 IBM InfoSphere Data Replication mirror / refresh 模式数据同步操作 |
| DB2 DataStore 要求 | 您的 IBM InfoSphere Data Replication 支持的 DB2 for i (AS400) 版本 |
读取方式及权限
JDBC读取模式
功能说明:
通过 JDBC Driver 连接到数据库并读取源端数据,该读取模式支持定时增量同步和定时全量同步。当要读取增量时,要求选择的字段,增量可识别,即必须可排序且只能是一个,不支持多个。
权限要求:
- 相关系统表 / 视图的 SELECT 权限:QSYS2.SYSSCHEMAS,QSYS2.SYSINDEXES,QSYS2.SYSCSTCOL,QSYS2.SYSCST,QSYS2.SYSTABLESTAT,QSYS2.SYSCOLUMNS
- 相关系统表 / 视图的 EXECUTE 权限:QSYS2.ACTIVE_JOB_INFO(),QSYS2.QCMDEXC()
- 同步表的 SELECT 权限
IBM InfoSphere Data Replication 读取模式
功能说明:
通过访问Access Server API 创建Datastore,根据数据任务所需同步数据创建订阅,并管理订阅状态。DataPipeline将根据数据任务所需,创建一条读取数据源并将数据写入Kafka缓存的数据任务,作为数据读取缓存,并由DataPipeline connectdp组件读取缓存数据,同步至数据目的地。因此IBM InfoSphere Data Replication读取模式需要Access Server连接信息,DB2 Agent连接信息,KafkaAgent连接信息,Kafka连接信息。
权限要求:
用户权限要求:
通过 WRKOBJ OBJ(QSYS/D_MIRROR) OBJTYPE(*USRPRF) 命令,查看 D_MIRROR 用户的权限集合是否符合要求;
As400 Journal
功能说明:
通过 As400 Retrieve Journal Entries API 从 As400 的 Journal 中读取 IBM Db2 for i (AS400) 的增量数据。
权限要求:
- 相关系统表 SELECT 权限:QSYS2. SYSTABLES,QSYS2. SYSCOLUMNS,QSYS. QADBKATR
- 通过 WRKOBJ OBJ(QSYS) OBJTYPE(LIB) 命令,检查用户或者 PUBLIC 对系统库 QSYS 是否至少具有 *USE 权限
- 通过 WRKOBJ OBJ(QSYS/QDBRTVFD) OBJTYPE(PGM) 命令,检查用户或者 PUBLIC 对 Retrieve Database File Description (QDBRTVFD) API 是否至少具有 *USE 权限
- 通过 WRKOBJ OBJ(QSYS/QJOURNAL) OBJTYPE(SRVPGM) 命令,检查用户或者 PUBLIC 对 Service Program QJOURNAL 是否至少具有 *USE 权限
- 如果用户具有 *ALLOBJ 权限,则无需上述检查
- 同步表相关 AS400 对象所需最小权限:
- Journal: USE, OBJEXIST
- Journal Library: *EXECUTE
- Journal Receivers: *USE
- Journal Receivers Library: *EXECUTE
- File Object(即同步表): *USE
- File Object Library: *EXECUTE
节点特性
表
| 表类型 | JDBC读取 | IBM InfoSphere Data Replication | #### As400 Journal |
|---|---|---|---|
| 普通表,即堆组织表,含分区表,无压缩 | 支持 | 支持 | 支持(仅支持增量) |
| 临时表 | 支持 | 不支持 | 不支持 |
| 外部表 | 支持 | 不支持 | 不支持 |
视图
| 视图类型 | 读取 |
|---|---|
| 普通视图 | 支持 |
| 物化视图 | 不支持 |
视图仅支持JDBC的读取方式获取数据。
索引
源
支持查看索引
数据类型
源
做为源支持读取的数据类型
https://www.ibm.com/docs/en/i/7.4?topic=elements-data-types__
| DB2 AS 400 官网的字段类型 | JDBC读取 | IBM InfoSphere Data Replication | AS400 journal 读取 |
|---|---|---|---|
| time | ✔️ | ✔️ | ✔️ |
| date | ✔️ | ✔️ | ✔️ |
| timestamp | ✔️ | ✔️ | ✔️ |
| smallint | ✔️ | ✔️ | ✔️ |
| integer | ✔️ | ✔️ | ✔️ |
| bigint | ✔️ | ✔️ | ✔️ |
| decimal | ✔️ | ✔️ | ✔️ |
| numeric | ✔️ | ✔️ | ✔️ |
| vargraphic | ✔️ | ✔️ | ✔️ |
| dbclob | ✔️ | ✔️ | ❌ |
| graphic | ✔️ | ✔️ | ✔️ |
| char 子编码属性 + for bit data + for sbcs data + for mixed data + for unicode data | ✔️ for bit data 会被记录为 char(n) for bit data 其余的记为 char | ✔️ for bit data 会被记录为 char(n) for bit data 其余的记为 char | ✔️ for bit data 会被记录为char(n) for bit data 其余的记为 char |
| varchar 子编码属性 + for bit data + for sbcs data + for mixed data + for unicode data | ✔️ for bit data 会被记录为 varchar(n) for bit data 其余的记为 varchar | ✔️ for bit data 会被记录为 varchar(n) for bit data 其余的记为 varchar | ✔️ for bit data 会被记录未为varchar(n) for bit data 其余的记为 varchar |
| clob | ✔️ | ✔️ | ❌ |
| binary | ❌ | ❌ | ❌ |
| varbinary | ❌ | ❌ | ❌ |
| blob | ✔️ | ✔️ | ❌ |
| xml | ✔️ | ✔️ | ❌ |
| rowid | ❌ | ❌ | ❌ |
| decfloat | ✔️ | ❌ | ✔️ |
| real | ✔️ | ✔️ | ✔️ |
| double | ✔️ | ✔️ | ✔️ |
| hex | ✔️ | ✔️ | ✔️ |
| float | ✔️ | ✔️ | ✔️ |
| dbcs-graphic | ✔️ | ✔️ | ✔️ |
| dbcs-only | ✔️ | ✔️ | ✔️ |
| dbcs-open | ✔️ | ✔️ | ✔️ |
| dbcs-eithr | ✔️ | ✔️ | ✔️ |
操作步骤
- 点击数据节点列表→新增数据节点
- 填写节点名称、描述,选择节点类型为DB2 for i (AS/400)
- 如您需要以JDBC/Journal 模式读取DB2 for i (AS/400)数据,请填写数据库连接信息
- 服务器地址:输入连接数据目的地的域名或IP地址。
- 用户名和密码:输入可访问该数据目的地的用户名和密码。
- 进行节点可用性校验
- 可用性校验完成后即进入节点详情页面
- 如您需要以IBM InfoSphere Data Replication读取DB2 for i (AS/400)数据,请选择节点的版本,填写IBM InfoSphere Data Replication信息
- 填写Access Server连接信息,DB2 for i (AS/400) Agent连接信息,KafkaAgent连接信息,Kafka连接信息
- 您可以在完成配置之后点击左下角的连接测试Access Server信息的准确
- 点击保存按钮保存该页配置,进行节点初始化,进行节点初始化即链接Access Server并创建Datastore
- 节点初始化完成后即进入节点详情页面
注意事项
- 数据缓存 Kafka 连接信息通常为 DataPipeline Kafka 组件的连接信息,您可以通过查看产品部署服务器中的 Kafka 容器、Zookeeper 容器、Schema Registry 容器来获取 Kafka 信息;您也可以使用自己的 Kafka 作为数据缓存,但必须保证相应配置与权限符合系统要求。
- 当前cdc要配置的kafka 暂不支持加密。
- 当数据源DECIMAL类型有精度但没有标度时,IBM CDC处理该数据会将标度自动变成0,故后续数据写入过程中,可能会导致数值类型数据丢失小数点后的部分。您需要在语义映射页面指定DECIMAL类型对应目的地类型的标度映射,以免发生数据丢失。
- 当增量读取模式为IBM CDC时,DataPipeline使用IBM CDC连接方式获取元数据。
- IBM CDC无法解析部分字段类型,如DECFLOAT类型,返回数据类型为:UNKNOWN。在这种情况下您需要手动进行数据类型映射。
- 由于IBM CDC内部会对部分带特殊字符的字段名称做转换,如将"_"替换为0。可能会出现字段映射中展示的字段名称与JDBC查看表结构显示的字段名称不一致情况。这里的差异不会影响数据同步。
- 对于Journal不支持的字段类型,系统会默认填写" ",写入到目的地,建议用户通过JDBC的方式同步该字段类型的字段。
Journal的环境变量:
| 环境变量 | 默认值 | 含义 |
|---|---|---|
| AS400_JOURNAL_TOTAL_MEMORY_SIZE | 500MB | 单个任务全部事务占用内存阀值 超过该阀值,触发将部分事务落盘(当前策略为占用内存最大的事务落盘 |
| AS400_JOURNAL_TRANSACTION_CACHE_PATH | /tmp/as400_journal | 事务落盘存储的路径 |
| AS400_JOURNAL_TRANSACTION_CACHE_COUNT | 5000 | 单个事务内存阀值,条数 |
| AS400_JOURNAL_TRANSACTION_CACHE_SIZE | 10MB | 单个事务内存阀值,字节数 |
| AS400_JOURNAL_MAX_TABLES_PER_TASK | 300 | 单个任务能添加的映射表的最大数量 |