版本:v5.7
MS SQL Server
配置要求
在进行配置之前,请务必检查您的 MS SQL Server 数据节点是否符合平台要求,参考如下:
| 要求 | 详情 |
|---|---|
| 版本要求 | 数据源 JDBC 模式支持 MS SQL Server 2008、2012、2014、2016、2019 版本;2.数据源 Change Tracking 模式支持 MS SQL Server 2008、2012、2014 版本的单实例非只读数据库; 目的地 JDBC 写入模式支持 MS SQL Server 2008、2012、2014 版本,不支持 MS SQL Server 只读库; |
| 权限要求 | JDBC 读取模式:要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt)2.Change Tracking 读取模式:如果 default schema 为 dbo,可以直接授权 select 和 view change tracking 权限:grant select on schema::dbo to usergrant view change tracking on schema::dbo to user 如果主体模式不是 dbo 就需要按照表为单位进行 view change tracking 的授权,比如:grant view change tracking on object::rpt.表名 to user 不支持只读数据库 3.Change Data Capture 读取模式:在为单个表创建捕获实例之前,sysadmin 固定服务器角色的成员(仅在 SQL Server/Azure SQL 托管实例中)或 db_owner 必须首先启用数据库以进行更改数据捕获。这是通过在数据库上下文中运行存储过程 sys.sp_cdc_enable_db (Transact-SQL)来完成的。要确定数据库是否已启用,请查询 sys.databases 目录视图中的 is_cdc_enabled 列。4..JDBC 写入模式:insert / update / delete / alter / exec / create / references / select on schema / alter any connection |
| 其他要求 | JDBC 读取模式:要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt)Change Tracking 读取模式:1. 如果 default schema 为 dbo,可以直接授权 select 和 view change tracking 权限:grant select on schema::dbo to usergrant view change tracking on schema::dbo to user2. 如果主体模式不是 dbo 就需要按照表为单位进行 view change tracking 的授权,比如:grant view change tracking on object::rpt.表名 to user3. SQL Server Change Tracking 不支持只读数据库 JDBC 写入模式: 授予 ALTER ANY CONNECTION 权限用于处理死锁导致的任务中断 |
操作步骤
新建弹窗界面选择了 MS SQL Server 节点类型之后,显示 MS SQL Server 的基本信息配置模板:
- 版本:MS SQL Server 2008、MS SQL Server 2012、MS SQL Server 2014
- 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或datapipeline.com
- 端口:输入连接数据节点的端口值
- AlwaysEncrypted:支持sqlserver-AlwaysEncrypted加密方式,勾选后表示连接数据节点已开启该加密方式
- 上传认证:AlwaysEncrypted加密认证文件
- 认证密码:AlwaysEncrypted加密认证密码
- 数据库名称:要求连接数据库的名称
- Schema 有两个选项
- 选项一:dbo(默认)
- 选项二:用户可输入自定义选项
- 允许输入多个 Schema,多个 Schema 可用英文逗号分隔
- 用户名和密码:输入可访问该数据节点的用户名和密码
注意事项
信息
- 使用 Change Tracking 或 Change Data Capture 初始化数据时,全量数据会使用 JDBC 进行全量数据同步,增量数据会根据 Change Tracking 或 Change Data Capture 同步。
- 已支持MS SQL Server 加密方式:
- TDE加密
- Always Encrypted加密
:::color3
- 在使用TDE\Always Encrypted加密方式时,当源节点包含varchar、char、text字段且字段值中包含汉字,目的地映射都要配置为nvarchar、nchar、ntext其中一种类型
:::
警告
- 在使用 Change Data Capture 模式同步数据时,不支持数据源增加列的自动化结构变化处理流程;如发生结构变化,需要您在数据库中做如下更改,保证数据不会丢失:
- 停止该数据表的业务增量
- 挂起 DP 任务
- 在数据库中停止该表的 CDC 进程
- 变更数据结构
- 在数据库中创建新的对该表的 CDC 进程
- 开始采集
- 恢复业务增量
- 激活 DP 任务
- 在使用 Change Data Capture 模式同步数据时,您需要确保您的数据源表有主键或唯一索引。
警告
- 在使用 CT 模式进行数据同步时,建议开启 MS SQL Server 中的 READ_COMMITTED_SNAPSHOT 参数;
- 关闭该参数后事务隔离级别不再依赖于 shared locks 来控制默认的事务隔离级别
- 开启该参数后每张表自己做自己的事务隔离级别,基于 row versioning
- 开启之后降低对锁的依赖,可以提升性能
常见问题处理
JDK Docker 容器 TLS 版本不兼容问题解决
问题背景
- 问题:DataPipeline应用在连接到SQL Server 2012数据库时遇到了TLS版本不兼容问题。从错误信息分析,SQL Server 2012(11.0.3128版本)仅支持TLS 1.0,而您使用的JDK Docker镜像默认禁用了TLS 1.0和TLS 1.1,导致连接失败。
- 背景:为了解决安全漏洞扫描问题,我们会定期从dockerHub上拉取最新的基础镜像,最新的基础镜像可能会屏蔽掉不安全的协议,比如TLS 1.0和TLS 1.1
核心问题
- 服务器端:SQL Server 2012 仅支持 TLS 1.0
- 客户端:JDK Docker镜像的
java.security文件默认禁用了 TLS 1.0 - 结果:客户端与服务器TLS版本不匹配,连接失败
解决方案概述
通过修改JDK安全策略文件,启用TLS 1.0支持,使应用能够连接旧版SQL Server。
操作步骤
步骤1:从容器复制当前安全策略文件
# 从正在运行的DataPipeline容器复制java.security文件到当前目录(/home/Plain_Nozdormu/singlehost/)
docker cp dp-thrall-webservice:/opt/java/openjdk/conf/security/java.security ./
步骤2:编辑java.security文件
- 使用文本编辑器打开复制的
java.security文件:
vi java.security
- 查找
jdk.tls.disabledAlgorithms配置项(在您提供的图片中显示为以下内容):
jdk.tls.disabledAlgorithms=SSLv3, TLSv1, TLSv1.1, DTLSv1.0,RC4,DES,\ MD5withRSA,DH keySize<1024,EC keySize<224,3DES_EDE_CBC,anon,NULL,\ ECDH
- 修改关键:从黑名单中删除
TLSv1和TLSv1.1

步骤3:挂载修改后的文件到容器

volumes:
- /home/Plain_Nozdormu/singlehost/java.security:/opt/java/openjdk/conf/security/java.security
步骤4:重启容器使配置生效
# 重新启动容器
./restart dp-thrall-webservice
步骤5:验证配置生效
# 进入容器
docker exec -it dp-thrall-webservice bash
# 检查java.security文件内容
cat /opt/java/openjdk/conf/security/java.security | grep -i "tls\|disabled"
验证步骤
- 确认容器内的
java.security文件已正确挂载 - 确认文件中没有禁用TLSv1
- 重启DataPipeline服务
- 测试SQL Server连接
长期建议
虽然启用TLS 1.0可以临时解决问题,但从安全角度考虑,建议:
- 升级SQL Server版本:迁移到支持TLS 1.2+的SQL Server版本
- 更新SQL Server 2012的TLS配置:为现有SQL Server 2012安装补丁,启用TLS 1.2支持
- 定期审计:定期检查TLS配置,确保符合安全标准