跳到主要内容
版本:v4.9

配置 MS SQL Server 节点

配置要求​

在进行配置之前,请务必检查您的 MS SQL Server 数据节点是否符合平台要求,参考如下:

要求详情
版本要求1.数据源 JDBC 模式支持 MS SQL Server 2008、2012、2014、2016、2019 版本;2.数据源 Change Tracking 模式支持 MS SQL Server 2008、2012、2014 版本的单实例非只读数据库; 目的地 JDBC 写入模式支持 MS SQL Server 2008、2012、2014 版本,不支持 MS SQL Server 只读库;
权限要求1.JDBC 读取模式:要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt)2.Change Tracking 读取模式:如果 default schema 为 dbo,可以直接授权 select 和 view change tracking 权限:grant select on schema::dbo to usergrant view change tracking on schema::dbo to user 如果主体模式不是 dbo 就需要按照表为单位进行 view change tracking 的授权,比如:grant view change tracking on object::rpt.表名 to user 不支持只读数据库 3.Change Data Capture 读取模式:在为单个表创建捕获实例之前,sysadmin 固定服务器角色的成员(仅在 SQL Server/Azure SQL 托管实例中)或 db_owner 必须首先启用数据库以进行更改数据捕获。这是通过在数据库上下文中运行存储过程 sys.sp_cdc_enable_db (Transact-SQL)来完成的。要确定数据库是否已启用,请查询 sys.databases 目录视图中的 is_cdc_enabled 列。4..JDBC 写入模式:insert / update / delete / alter / exec / create / references / select on schema / alter any connection
其他要求JDBC 读取模式:要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt)Change Tracking 读取模式:1. 如果 default schema 为 dbo,可以直接授权 select 和 view change tracking 权限:grant select on schema::dbo to usergrant view change tracking on schema::dbo to user2. 如果主体模式不是 dbo 就需要按照表为单位进行 view change tracking 的授权,比如:grant view change tracking on object::rpt.表名 to user3. SQL Server Change Tracking 不支持只读数据库 JDBC 写入模式: 授予 ALTER ANY CONNECTION 权限用于处理死锁导致的任务中断

操作步骤​

新建弹窗界面选择了 MS SQL Server 节点类型之后,显示 MS SQL Server 的基本信息配置模板:

  • 版本:MS SQL Server 2008、MS SQL Server 2012、MS SQL Server 2014
  • 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或datapipeline.com
  • 端口:输入连接数据节点的端口值
  • 数据库名称:要求连接数据库的名称
  • Schema 有两个选项
    • 选项一:dbo(默认)
    • 选项二:用户可输入自定义选项
    • 允许输入多个 Schema,多个 Schema 可用英文逗号分隔
  • 用户名和密码:输入可访问该数据节点的用户名和密码

注意事项​

信息
  • 使用 Change Tracking 或 Change Data Capture 初始化数据时,全量数据会使用 JDBC 进行全量数据同步,增量数据会根据 Change Tracking 或 Change Data Capture 同步。 :::
  • 在使用 Change Data Capture 模式同步数据时,不支持数据源增加列的自动化结构变化处理流程;如发生结构变化,需要您在数据库中做如下更改,保证数据不会丢失:
    1. 停止该数据表的业务增量
    2. 挂起 DP 任务
    3. 在数据库中停止该表的 CDC 进程
    4. 变更数据结构
    5. 在数据库中创建新的对该表的 CDC 进程
    6. 开始采集
    7. 恢复业务增量
    8. 激活 DP 任务
  • 在使用 Change Data Capture 模式同步数据时,您需要确保您的数据源表有主键或唯一索引。 :::
警告
  • 在使用 CT 模式进行数据同步时,建议开启 MS SQL Server 中的 READ_COMMITTED_SNAPSHOT 参数;
    • 关闭该参数后事务隔离级别不再依赖于 shared locks 来控制默认的事务隔离级别
    • 开启该参数后每张表自己做自己的事务隔离级别,基于 row versioning
    • 开启之后降低对锁的依赖,可以提升性能 :::