跳到主要内容
版本:v3.7

配置 Oracle 数据节点

配置要求​

在进行配置之前,请务必检查您的 Oracle 数据节点是否符合平台要求,参考如下:

要求详情
版本要求1. 数据源节点 JDBC 读取模式支持 10G、11G、12C、19C;
2. 数据源节点 采集代理 读取模式支持 11G、12C、19C,支持 Oracle RAC,支持 ASM 远程读取、本地读取,支持 19C PDB,灾备架构只支持 Oracle ADG,不支持只读库;
3. LogMiner 读取模式支持 11.2.0.4、12C,不支持 Oracle RAC,不支持灾备架构从库,不支持 Oracle 只读库;
4. IBM InfoSphere Data Replication 读取模式支持 IBM InfoSphere Data Replication 11.4 版本、10.2 版本,支持 11G、12C、19C 版本的 Oracle 数据库;
5. 数据目的地节点支持 Oracle 10G 、11G、12C、19C,不支持 Oracle 只读库;
权限要求1. JDBC 读取模式:CREATE SESSION、RESOURCE 以及相关表和视图的 select 权限 2. Oracle 采集代理读取模式:新旧版本赋权请参考本文中采集代理用户赋权部分 3. LogMiner 读取模式:SELECT ANY DICTIONARY、FLASHBACK ANY TABLE、SELECT ANY TRANSACTION、LOGMINING、EXECUTE ON DBMS_FLASHBACK、EXECUTE ON DBMS_LOGMNR_D 、EXECUTE ON DBMS_LOGMNR、RESOURCE、CREATE SESSION、EXECUTE_CATALOG_ROLE 以及相关视图和表的 select 权限 4. JDBC 写入模式: 4.1 对业务数据库具备 SELECT、INSERT、UPDATE、DELETE、DROP、 INDEX、ALTER、CREATE 权限。 4.2 需要授予 SELECT ON V_$SESSION 权限用于处理死锁导致的任务中断 4.3 需要授予 CREATE SESSION 权限 4.4 登录用户需要是 RESOURCE 角色,以便于用户能够创建表、索引等
其他要求JDBC 读取模式: 1. 要求需要同步的表拥有增量识别字段,用于同步增量数据。 2. 选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段, 如:更新序列号 (例:SequenceID),更新时间戳 (例:UpdatedAt) 采集代理程序 读取模式: 1. redo log、achieve log 的单文件 log size 最大不超过 4G; LogMiner 读取模式: 1. 需要提供 Oracle LogMiner; 2. 12c 以下版本不需要 LOGMINING 权限; 3. 日志补全至少需要开启 primary key、all、unique 级别的日志级别; 4. Archive LOG 保留时间建议>=72 小时; 5. 不支持 Oracle 只读实例; JDBC 写入模式:需要授予 SELECT ON V_$SESSION 权限用于处理死锁导致的任务中断;

DataPipeline 支持通过 IBM InfoSphere Data Replication 连接 Oracle 数据库,通过访问 Access Server API,创建 Datastore,根据数据任务所需同步数据创建订阅,并管理订阅状态。

在使用 IBM InfoSphere Data Replication 作为数据读取 Agent 读取 Oracle 数据时,DataPipeline 将根据数据任务所需,创建一条读取数据源 Oracle 并将数据写入 Kafka 缓存的数据订阅,作为数据读取缓存,并由 DataPipeline Source 组建读取缓存数据,同步至数据目的地。

因此需要 IBM InfoSphere Data Replication 的连接信息,包括 Access Server 连接信息,Oracle Agent 连接信息,Kafka Agent 连接信息,Kafka 连接信息。

操作步骤 ​

新建 Oracle 节点

  1. 新建弹窗界面选择了 Oracle 节点类型之后,显示 Oracle 的基本信息配置模板:
  • 版本:Oracle 10G、Oracle 11G、Oracle 12C
  • JDBC 配置:
    • 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或instance1.oracle.example.com
    • 端口:输入连接数据节点的端口值
    • 数据库名称:要求连接数据库的名称
    • 用户名和密码:输入可访问该数据节点的用户名和密码
    • 连接参数:添加 KEY、VALUE 值
  • DataPipeline Oracle 采集代理配置(关于 DataPipeline Oracle 采集代理的安装步骤,请参考《DataPipeline 实时数据融合产品部署安装指南》- 3.6 Oracle 采集代理安装)
    • Agent 源端地址
    • Agent 源端端口
    • Agent 备端地址
    • Agent 备端端口
  • 填写 IBM InfoSphere Data Replication 信息
    • 填写 Access Server 连接信息,DB2 Agent 连接信息,KafkaAgent 连接信息,Kafka 连接信息
    • 您可以在完成配置之后点击左下角的连接测试 Access Server 信息的准确
    • 点击保存按钮保存该页配置,进行节点初始化,进行节点初始化即链接 Access Server 并创建 Datastore
    • 节点初始化完成后即进入节点详情页面

启停 DataPipeline Oracle 采集代理

  1. 进入 Oracle 数据节点详情页面
  2. 在基础配置–DataPipeline Oracle 采集代理配置中通过开关控制启停
  3. 停止 DataPipeline Oracle 采集代理需要依赖于 DataPipeline Oracle 采集代理的增量监听数据任务为已暂停状态

修改 DataPipeline Oracle 采集代理 ​

  1. 进入 Oracle 数据节点详情页面
  2. 在基础配置–DataPipeline Oracle 采集代理配置中暂停 DataPipeline Oracle 采集代理
  3. 点击「修改同步列表」
  4. 选择数据表并保存
  5. 开启 DataPipeline Oracle 采集代理

注意事项 ​

信息

采集代理用户赋权

警告

Oracle 用户名和密码区分大小写,创建用户时如果用户名不加双引号会被 Oracle 以大写的形式保存在系统的字典表中;如果创建用户名的时候在用户名上加上双引号,那么则会把双引号内的用户名直接保存在数据库字典表中。DataPipeline 实时数据融合产品在使用 JDBC 处理输入的用户名时会遵循 Oracle 的处理原则将小写的用户名改写成大写,Oracle 接收到用户名之后会以大写用户名为条件在系统的字典表中进行查找,这时便无法查找到使用小写的用户名,因此我们建议用户在使用 Oracle 创建用户时使用大写用户名。