版本:v2.7
DataPipeline所支持的不同数据类型有哪些?kafka schema的数据类型和不同库间的数据库转换规则?
Q: DataPipeline所支持的不同数据类型有哪些?kafka schema的数据类型和不同库间的数据库转换规则?
Kakfa Connect的基础类型包括INT8、INT16、INT32、INT64、FLOAT32、FLOAT64、BOOLEAN、STRING、BYTES,此外还支持MAP、ARRAY以及STRUCT三种复合类型。理论上,通过恰当的编码转换,任何数据库的类型都可以用上述类型进行编码后发送到Kakfa Topic,目的端消费时根据目的地数据库的实际支持能力进行相应的类型映射。
我们的SQL Server、Oracle、Mysql的数据源支持所有JDBC类型的读取,并转换为Kafka Connect中间格式。目的端据此进行类型映射。
目前已知的几个问题包括:
- decimal类型精度在源和目的地不匹配可能造成精度损失;
- 日期类型转换暂时不支持时区转换;
- 日期类型会损失秒级以下精度;
- 所有二进制类型(包括geo类型)会统一按照bytes进行处理。
这些问题都会在近期版本中得到解决。