跳到主要内容
版本:v5.6

版本说明

支持的 Milvus 的版本如下:

节点版本要求权限要求其他要求
目的地节点+ 数据目的地节点支持2.5.10CreateCollection、CreateIndex、Load、Insert、Upsert、Delete

约束及限制

  1. 结构化数据库节点中的字段类型转换为向量字段需要提供相应的大模型密钥
  2. 添加主键字段时,仅支持字段类型为VARCHAR或INT64
  3. 使用动态字段需在数据链路-写入配置中开启动态字段按钮

写入方式

SDK写入方式​

权限要求​

CreateCollection、CreateIndex、Load、Insert、Upsert、Delete

节点特性

Collection​

集合SDK写入
collection支持

索引​

目的地​

分类索引SDK写入适用的度量类型适用的字段类型
向量索引FLAT✓+ 欧氏距离 (L2)
+ 内积 (IP)
+ 余弦相似度 (COSINE)
+ FLOAT_VECTOR
+ FLOAT16_VECTOR
+ bfloat16_vector
IVT_FLAT✓+ 欧氏距离 (L2)
+ 内积 (IP)
+ 余弦相似度 (COSINE)
+ FLOAT_VECTOR
+ FLOAT16_VECTOR
+ bfloat16_vector
IVT_SQ8✓+ 欧氏距离 (L2)
+ 内积 (IP)
+ 余弦相似度 (COSINE)
+ FLOAT_VECTOR
+ FLOAT16_VECTOR
+ bfloat16_vector
IVT_PQ✓+ 欧氏距离 (L2)
+ 内积 (IP)
+ 余弦相似度 (COSINE)
+ FLOAT_VECTOR
+ FLOAT16_VECTOR
+ bfloat16_vector
HNSW✓+ 欧氏距离 (L2)
+ 内积 (IP)
+ 余弦相似度 (COSINE)
+ FLOAT_VECTOR
+ FLOAT16_VECTOR
+ bfloat16_vector
BIN_FLAT✓+ Jaccard (JACCARD)
+ 哈明 (HAMMING)
+ binary vector
BIN_IVF_FLAT✓+ Jaccard (JACCARD)
+ 哈明 (HAMMING)
+ binary vector
稀疏反转索引✓+ 内积 (IP)
+ BM25
+ sparse_float_vector
DiskANN✓+ 欧氏距离 (L2)
+ 内积 (IP)
+ 余弦相似度 (COSINE)
+ FLOAT_VECTOR
+ FLOAT16_VECTOR
+ bfloat16_vector
GPU_IVF_FLAT✓+ 欧氏距离 (L2)
+ 内积 (IP)
+ 余弦相似度 (COSINE)
+ FLOAT_VECTOR
+ FLOAT16_VECTOR
+ bfloat16_vector
GPU_IVF_PQ✓+ 欧氏距离 (L2)
+ 内积 (IP)
+ 余弦相似度 (COSINE)
+ FLOAT_VECTOR
+ FLOAT16_VECTOR
+ bfloat16_vector
标量索引自动索引✓
INVERTED✓+ INT8
+ INT16
+ INT32
+ INT64
+ FLOAT
+ DOUBLE
+ ARRAY(BOOL、INT8/16/32/64、FLOAT、DOUBLE 和 VARCHAR 类型的元素)
+ JSON
+ VARCHAR
+ BOOL
BITMAP✓+ 数组(BOOL、INT8/16/32/64 和 VARCHAR 类型的元素)
+ VARCHAR
+ BOOL
STL_SORT✓+ INT8
+ INT16
+ INT32
+ INT64
Trie✓+ VARCHAR

数据类型​

分类数据类型SDK写入说明
向量类型float_vector✓标量类型数据写入该字段类型需使用大模型转换
float16_vector✓标量类型数据写入该字段类型需使用大模型转换
bfloat16_vector✓标量类型数据写入该字段类型需使用大模型转换
sparse_float_vector✓标量类型数据写入该字段类型需使用大模型转换
binary vector✓标量类型数据写入该字段类型需使用大模型转换
标量类型int8✓
int16✓
int32✓
int64✓
float✓
double✓
bool✓
varchar✓
json✓
array✓
动态字段(Dynamic Field)✓使用动态字段需在数据链路-写入配置中开启动态字段按钮

主键​

:::color3 添加主键字段时,仅支持字段类型为VARCHAR或INT64

:::

字段类型是否支持作为主键说明
int64✓+ datatype 设置为DataType.INT64
+ s_primary 设置为true
+ 自动生成主键:auto_id 设置为true
varchar✓+ data_type 参数值更改为DataType.VARCHAR
+ s_primary 设置为true
+ 为字段设置max_length 参数

DML​

写入策略写入语法限制
INSERTpublic long insert(String collectionName, List<JsonObject> data) {
InsertReq insertReq = InsertReq.builder().collectionName(collectionName).data(data).build();
InsertResp insertResp = milvusClientV2.insert(insertReq);
return insertResp.getInsertCnt();
}
DELETEpublic long delete(String collectionName, List<Object> data) {
DeleteReq deleteReq = DeleteReq.builder().collectionName(collectionName).ids(data).build();
DeleteResp deleteResp = milvusClientV2.delete(deleteReq);
return deleteResp.getDeleteCnt();
}
需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
MERGEpublic long upsert(String collectionName, List<JsonObject> data) {
UpsertReq upsertReq = UpsertReq.builder().collectionName(collectionName).data(data).build();
UpsertResp upsert = milvusClientV2.upsert(upsertReq);
return upsert.getUpsertCnt();
}
需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
IGNORE

DDL​

DDL类型是否支持限制
删除表collection✓
重命名表collection❌
更改字段field✓更改varchar字段类型长度:
client.alter_collection_field(
collection_name="my_collection", field_name="varchar",
field_params={ "max_length": 1024 }#修改长度
)

更改数组字段最大容量:
max_capacity,使用max_capacity 参数定义数组的最大容量,即数组可包含的最大元素数
client.alter_collection_field(
collection_name="my_collection",
field_name="array",
field_params={ "max_capacity": 64 }
)

添加Milvus节点的操作步骤

  • 新建弹窗界面选择了 Milvus 节点类型之后,显示 Milvus 的基本信息配置模板:
    • 版本:Milvus 2.5.x
  • 连接配置
    • 连接地址:输入Milvus节点IP地址
    • 端口:输入Milvus节点端口号
    • 数据库:可选择「用户权限的所有库」或者输入特定「数据库名称」
  • 认证类型
    • 口令认证
      • 用户名:输入Milvus数据库登录的用户名
      • 密码:输入用户对应密码
  • 模型密钥(该配置用于标量字段转为向量字段,可在节点详情中进行增删改操作)
    • 选择大模型:当前DP支持「豆包」和「Jina AI」
    • 输入模型密钥:输入对应大模型的密钥