跳到主要内容
版本:v5.6

MS SQL Server

配置要求​

在进行配置之前,请务必检查您的 MS SQL Server 数据节点是否符合平台要求,参考如下:

要求详情
版本要求数据源 JDBC 模式支持 MS SQL Server 2008、2012、2014、2016、2019 版本;2.数据源 Change Tracking 模式支持 MS SQL Server 2008、2012、2014 版本的单实例非只读数据库; 目的地 JDBC 写入模式支持 MS SQL Server 2008、2012、2014 版本,不支持 MS SQL Server 只读库;
权限要求JDBC 读取模式:要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt)2.Change Tracking 读取模式:如果 default schema 为 dbo,可以直接授权 select 和 view change tracking 权限:grant select on schema::dbo to usergrant view change tracking on schema::dbo to user 如果主体模式不是 dbo 就需要按照表为单位进行 view change tracking 的授权,比如:grant view change tracking on object::rpt.表名 to user 不支持只读数据库 3.Change Data Capture 读取模式:在为单个表创建捕获实例之前,sysadmin 固定服务器角色的成员(仅在 SQL Server/Azure SQL 托管实例中)或 db_owner 必须首先启用数据库以进行更改数据捕获。这是通过在数据库上下文中运行存储过程 sys.sp_cdc_enable_db (Transact-SQL)来完成的。要确定数据库是否已启用,请查询 sys.databases 目录视图中的 is_cdc_enabled 列。4..JDBC 写入模式:insert / update / delete / alter / exec / create / references / select on schema / alter any connection
其他要求JDBC 读取模式:要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt)Change Tracking 读取模式:1. 如果 default schema 为 dbo,可以直接授权 select 和 view change tracking 权限:grant select on schema::dbo to usergrant view change tracking on schema::dbo to user2. 如果主体模式不是 dbo 就需要按照表为单位进行 view change tracking 的授权,比如:grant view change tracking on object::rpt.表名 to user3. SQL Server Change Tracking 不支持只读数据库 JDBC 写入模式: 授予 ALTER ANY CONNECTION 权限用于处理死锁导致的任务中断

操作步骤​

新建弹窗界面选择了 MS SQL Server 节点类型之后,显示 MS SQL Server 的基本信息配置模板:

  • 版本:MS SQL Server 2008、MS SQL Server 2012、MS SQL Server 2014
  • 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或datapipeline.com
  • 端口:输入连接数据节点的端口值
  • AlwaysEncrypted:支持sqlserver-AlwaysEncrypted加密方式,勾选后表示连接数据节点已开启该加密方式
    • 上传认证:AlwaysEncrypted加密认证文件
    • 认证密码:AlwaysEncrypted加密认证密码
  • 数据库名称:要求连接数据库的名称
  • Schema 有两个选项
    • 选项一:dbo(默认)
    • 选项二:用户可输入自定义选项
    • 允许输入多个 Schema,多个 Schema 可用英文逗号分隔
  • 用户名和密码:输入可访问该数据节点的用户名和密码

注意事项​

信息
  • 使用 Change Tracking 或 Change Data Capture 初始化数据时,全量数据会使用 JDBC 进行全量数据同步,增量数据会根据 Change Tracking 或 Change Data Capture 同步。
  • 已支持MS SQL Server 加密方式:
    • TDE加密
    • Always Encrypted加密

:::color3

  • 在使用TDE\Always Encrypted加密方式时,当源节点包含varchar、char、text字段且字段值中包含汉字,目的地映射都要配置为nvarchar、nchar、ntext其中一种类型

:::

警告
  • 在使用 Change Data Capture 模式同步数据时,不支持数据源增加列的自动化结构变化处理流程;如发生结构变化,需要您在数据库中做如下更改,保证数据不会丢失:
    1. 停止该数据表的业务增量
    2. 挂起 DP 任务
    3. 在数据库中停止该表的 CDC 进程
    4. 变更数据结构
    5. 在数据库中创建新的对该表的 CDC 进程
    6. 开始采集
    7. 恢复业务增量
    8. 激活 DP 任务
  • 在使用 Change Data Capture 模式同步数据时,您需要确保您的数据源表有主键或唯一索引。
警告
  • 在使用 CT 模式进行数据同步时,建议开启 MS SQL Server 中的 READ_COMMITTED_SNAPSHOT 参数;
    • 关闭该参数后事务隔离级别不再依赖于 shared locks 来控制默认的事务隔离级别
    • 开启该参数后每张表自己做自己的事务隔离级别,基于 row versioning
    • 开启之后降低对锁的依赖,可以提升性能

常见问题处理​

JDK Docker 容器 TLS 版本不兼容问题解决​

问题背景​
  • 问题:DataPipeline应用在连接到SQL Server 2012数据库时遇到了TLS版本不兼容问题。从错误信息分析,SQL Server 2012(11.0.3128版本)仅支持TLS 1.0,而您使用的JDK Docker镜像默认禁用了TLS 1.0和TLS 1.1,导致连接失败。
  • 背景:为了解决安全漏洞扫描问题,我们会定期从dockerHub上拉取最新的基础镜像,最新的基础镜像可能会屏蔽掉不安全的协议,比如TLS 1.0和TLS 1.1
核心问题​
  • 服务器端:SQL Server 2012 仅支持 TLS 1.0
  • 客户端:JDK Docker镜像的java.security文件默认禁用了 TLS 1.0
  • 结果:客户端与服务器TLS版本不匹配,连接失败
解决方案概述​

通过修改JDK安全策略文件,启用TLS 1.0支持,使应用能够连接旧版SQL Server。

操作步骤​
步骤1:从容器复制当前安全策略文件​
# 从正在运行的DataPipeline容器复制java.security文件到当前目录(/home/Plain_Nozdormu/singlehost/)
docker cp dp-thrall-webservice:/opt/java/openjdk/conf/security/java.security ./
步骤2:编辑java.security文件​
  1. 使用文本编辑器打开复制的java.security文件:
vi java.security
  1. 查找jdk.tls.disabledAlgorithms配置项(在您提供的图片中显示为以下内容):

jdk.tls.disabledAlgorithms=SSLv3, TLSv1, TLSv1.1, DTLSv1.0,RC4,DES,\ MD5withRSA,DH keySize<1024,EC keySize<224,3DES_EDE_CBC,anon,NULL,\ ECDH

  1. 修改关键:从黑名单中删除TLSv1和TLSv1.1

步骤3:挂载修改后的文件到容器​

volumes:
- /home/Plain_Nozdormu/singlehost/java.security:/opt/java/openjdk/conf/security/java.security
步骤4:重启容器使配置生效​
# 重新启动容器
./restart dp-thrall-webservice
步骤5:验证配置生效​
# 进入容器
docker exec -it dp-thrall-webservice bash

# 检查java.security文件内容
cat /opt/java/openjdk/conf/security/java.security | grep -i "tls\|disabled"
验证步骤​
  1. 确认容器内的java.security文件已正确挂载
  2. 确认文件中没有禁用TLSv1
  3. 重启DataPipeline服务
  4. 测试SQL Server连接
长期建议​

虽然启用TLS 1.0可以临时解决问题,但从安全角度考虑,建议:

  1. 升级SQL Server版本:迁移到支持TLS 1.2+的SQL Server版本
  2. 更新SQL Server 2012的TLS配置:为现有SQL Server 2012安装补丁,启用TLS 1.2支持
  3. 定期审计:定期检查TLS配置,确保符合安全标准