版本:v5.5
版本说明
支持的 Milvus 的版本如下:
| 节点 | 版本要求 | 权限要求 | 其他要求 |
|---|---|---|---|
| 目的地节点 | + 数据目的地节点支持2.5.10 | CreateCollection、CreateIndex、Load、Insert、Upsert、Delete |
约束及限制
- 结构化数据库节点中的字段类型转换为向量字段需要提供相应的大模型密钥
- 添加主键字段时,仅支持字段类型为VARCHAR或INT64
- 使用动态字段需在数据链路-写入配置中开启动态字段按钮
写入方式
SDK写入方式
权限要求
CreateCollection、CreateIndex、Load、Insert、Upsert、Delete
节点特性
Collection
| 集合 | SDK写入 |
|---|---|
| collection | 支持 |
索引
目的地
| 分类 | 索引 | SDK写入 | 适用的度量类型 | 适用的字段类型 |
|---|---|---|---|---|
| 向量索引 | FLAT | ✓ | + 欧氏距离 (L2) + 内积 (IP) + 余弦相似度 (COSINE) | + FLOAT_VECTOR + FLOAT16_VECTOR + bfloat16_vector |
| IVT_FLAT | ✓ | + 欧氏距离 (L2) + 内积 (IP) + 余弦相似度 (COSINE) | + FLOAT_VECTOR + FLOAT16_VECTOR + bfloat16_vector | |
| IVT_SQ8 | ✓ | + 欧氏距离 (L2) + 内积 (IP) + 余弦相似度 (COSINE) | + FLOAT_VECTOR + FLOAT16_VECTOR + bfloat16_vector | |
| IVT_PQ | ✓ | + 欧氏距离 (L2) + 内积 (IP) + 余弦相似度 (COSINE) | + FLOAT_VECTOR + FLOAT16_VECTOR + bfloat16_vector | |
| HNSW | ✓ | + 欧氏距离 (L2) + 内积 (IP) + 余弦相似度 (COSINE) | + FLOAT_VECTOR + FLOAT16_VECTOR + bfloat16_vector | |
| BIN_FLAT | ✓ | + Jaccard (JACCARD) + 哈明 (HAMMING) | + binary vector | |
| BIN_IVF_FLAT | ✓ | + Jaccard (JACCARD) + 哈明 (HAMMING) | + binary vector | |
| 稀疏反转索引 | ✓ | + 内积 (IP) + BM25 | + sparse_float_vector | |
| DiskANN | ✓ | + 欧氏距离 (L2) + 内积 (IP) + 余弦相似度 (COSINE) | + FLOAT_VECTOR + FLOAT16_VECTOR + bfloat16_vector | |
| GPU_IVF_FLAT | ✓ | + 欧氏距离 (L2) + 内积 (IP) + 余弦相似度 (COSINE) | + FLOAT_VECTOR + FLOAT16_VECTOR + bfloat16_vector | |
| GPU_IVF_PQ | ✓ | + 欧氏距离 (L2) + 内积 (IP) + 余弦相似度 (COSINE) | + FLOAT_VECTOR + FLOAT16_VECTOR + bfloat16_vector | |
| 标量索引 | 自动索引 | ✓ | ||
| INVERTED | ✓ | + INT8 + INT16 + INT32 + INT64 + FLOAT + DOUBLE + ARRAY(BOOL、INT8/16/32/64、FLOAT、DOUBLE 和 VARCHAR 类型的元素) + JSON + VARCHAR + BOOL | ||
| BITMAP | ✓ | + 数组(BOOL、INT8/16/32/64 和 VARCHAR 类型的元素) + VARCHAR + BOOL | ||
| STL_SORT | ✓ | + INT8 + INT16 + INT32 + INT64 | ||
| Trie | ✓ | + VARCHAR |
数据类型
| 分类 | 数据类型 | SDK写入 | 说明 |
|---|---|---|---|
| 向量类型 | float_vector | ✓ | 标量类型数据写入该字段类型需使用大模型转换 |
| float16_vector | ✓ | 标量类型数据写入该字段类型需使用大模型转换 | |
| bfloat16_vector | ✓ | 标量类型数据写入该字段类型需使用大模型转换 | |
| sparse_float_vector | ✓ | 标量类型数据写入该字段类型需使用大模型转换 | |
| binary vector | ✓ | 标量类型数据写入该字段类型需使用大模型转换 | |
| 标量类型 | int8 | ✓ | |
| int16 | ✓ | ||
| int32 | ✓ | ||
| int64 | ✓ | ||
| float | ✓ | ||
| double | ✓ | ||
| bool | ✓ | ||
| varchar | ✓ | ||
| json | ✓ | ||
| array | ✓ | ||
| 动态字段(Dynamic Field) | ✓ | 使用动态字段需在数据链路-写入配置中开启动态字段按钮 |
主键
:::color3 添加主键字段时,仅支持字段类型为VARCHAR或INT64
:::
| 字段类型 | 是否支持作为主键 | 说明 |
|---|---|---|
| int64 | ✓ | + datatype 设置为DataType.INT64+ s_primary 设置为true+ 自动生成主键:auto_id 设置为true |
| varchar | ✓ | + data_type 参数值更改为DataType.VARCHAR+ s_primary 设置为true+ 为字段设置 max_length 参数 |
DML
| 写入策略 | 写入语法 | 限制 |
|---|---|---|
| INSERT | public long insert(String collectionName, List<JsonObject> data) { InsertReq insertReq = InsertReq.builder().collectionName(collectionName).data(data).build(); InsertResp insertResp = milvusClientV2.insert(insertReq); return insertResp.getInsertCnt(); } | |
| DELETE | public long delete(String collectionName, List<Object> data) { DeleteReq deleteReq = DeleteReq.builder().collectionName(collectionName).ids(data).build(); DeleteResp deleteResp = milvusClientV2.delete(deleteReq); return deleteResp.getDeleteCnt(); } | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 |
| MERGE | public long upsert(String collectionName, List<JsonObject> data) { UpsertReq upsertReq = UpsertReq.builder().collectionName(collectionName).data(data).build(); UpsertResp upsert = milvusClientV2.upsert(upsertReq); return upsert.getUpsertCnt(); } | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 |
| IGNORE |
DDL
| DDL类型 | 是否支持 | 限制 |
|---|---|---|
| 删除表collection | ✓ | |
| 重命名表collection | ❌ | |
| 更改字段field | ✓ | 更改varchar字段类型长度: client.alter_collection_field( collection_name="my_collection", field_name="varchar", field_params={ "max_length": 1024 }#修改长度 ) 更改数组字段最大容量: max_capacity,使用max_capacity 参数定义数组的最大容量,即数组可包含的最大元素数 client.alter_collection_field( collection_name="my_collection", field_name="array", field_params={ "max_capacity": 64 } ) |
添加Milvus节点的操作步骤
- 新建弹窗界面选择了 Milvus 节点类型之后,显示 Milvus 的基本信息配置模板:
- 版本:Milvus 2.5.x
- 连接配置
- 连接地址:输入Milvus节点IP地址
- 端口:输入Milvus节点端口号
- 数据库:可选择「用户权限的所有库」或者输入特定「数据库名称」
- 认证类型
- 口令认证
- 用户名:输入Milvus数据库登录的用户名
- 密码:输入用户对应密码
- 口令认证
- 模型密钥(该配置用于标量字段转为向量字段,可在节点详情中进行增删改操作)
- 选择大模型:当前DP支持「豆包」和「Jina AI」
- 输入模型密钥:输入对应大模型的密钥