向量数据库是什么
向量数据库是一类用于保存和检索向量数据的数据库系统。向量是模型对文本、图片、音频等对象计算出的数值序列,例如一段商品描述经嵌入模型处理后得到数百个浮点数。向量数据库的核心任务,是在大量向量中找出与查询向量最接近的若干条记录,并返回对应的原始对象标识与附加信息。
它解决的是“按语义或特征相似程度找东西”的问题,而不是按主键、日期或金额做精确匹配。需要先说明边界:向量可以由上游模型生成,也可以由数据库集成的嵌入功能生成。向量的生成与数据库的存储、索引和检索是不同环节,结果质量取决于向量模型、数据质量和检索参数。
它存什么
一条典型记录包含三部分:向量本身、唯一标识,以及元数据。元数据是描述该条记录的普通字段,如来源文档编号、创建时间、类目、语言、权限范围。检索时,系统按向量距离排序返回候选,同时可以按元数据缩小范围。
Milvus 官方文档将其定位为面向向量相似检索的数据库,支持集合、分区、索引等组织方式,并提供标量字段过滤能力(来源:Milvus 官方文档,https://milvus.io/docs/overview.md)。具体功能范围以该文档当前版本为准。
近似检索与精确检索
精确检索会把查询向量与库中每个向量逐一比较,结果最准,但数据量大时计算成本高。近似最近邻检索则借助索引结构缩小比较范围,用少量召回损失换取速度与资源占用的改善。
两者不是好坏之分,而是取舍。近似检索的效果受索引类型、构建参数和查询参数影响,召回率与延迟通常需要实测调优。若业务对“不漏掉任何一条”有硬性要求,应评估精确检索或扩大候选集;若只是辅助查找,近似检索更常见。任何“近似检索一定够用”的说法都不成立。
元数据过滤
元数据过滤是在向量检索之外附加结构化条件,例如只查某个租户、某个时间段或某个类目的记录。它有两种常见执行顺序:先按条件筛出子集再算距离,或先取向量候选再过滤。顺序不同,结果和性能都会不同,尤其在过滤条件很严格时,先取候选再过滤可能导致返回数量不足。
因此,过滤字段的选择性、是否为常用过滤字段建立索引,都会影响实际表现。设计时应把“必须满足的条件”和“可以放宽的相似度”分开考虑。
与普通关系数据库的区别
关系数据库擅长结构化数据的精确查询、事务一致性和关联计算,例如按订单号查明细、按库存做加减。向量数据库擅长高维向量的近邻查找,索引结构针对距离计算优化。
二者通常配合使用:关系数据库保存业务主数据并承担事务,向量数据库保存向量与检索所需的元数据,检索得到标识后再回关系数据库取完整记录。把向量数据库当作唯一数据源,或用关系数据库逐行扫描做相似检索,都会在规模上升后暴露短板。
一个虚拟示例
假设某企业有一个内部资料库,共 10 万条产品说明,每条说明用同一嵌入模型转成 768 维向量,并附带类目、更新日期、可见部门三个元数据字段。
用户输入一句问题,系统先把问题转成同维度向量,再在向量数据库中检索最接近的 20 条,同时限定“可见部门包含当前用户”。若过滤后不足 20 条,系统应放宽候选数量或提示结果有限,而不是直接返回空列表。检索出的 20 条再交由后续环节排序或展示原文。
这个例子中,10 万条、768 维、20 条候选都是假设值,仅用于说明流程,不代表任何真实系统性能。
使用边界
向量数据库适合语义检索、相似内容推荐、以图搜图、问答召回等场景。它不适合替代事务处理,也不能自动解决数据权限问题——权限判断仍需在检索条件或后续环节落实。
常见误解包括:认为向量检索结果天然准确;认为换了数据库就能提升效果;忽略向量模型版本变化导致新旧向量不可比。向量模型一旦更换,通常需要重新生成向量,否则距离计算失去意义。
常见问题
向量数据库能直接存原始文档吗? 可以存少量原文或引用,但常见做法是存向量和指向原文的标识,原文放在对象存储或业务库中。
近似检索会漏结果吗? 可能漏掉部分近邻,漏多少取决于索引与参数,需要按业务容忍度实测。
元数据过滤会不会拖慢查询? 取决于过滤字段的选择性和索引设计,严格过滤可能显著减少候选量,也可能增加额外开销。
它和关系数据库必须二选一吗? 不必。多数系统让二者分工,向量库负责相似检索,关系库负责事务与完整记录。
参考资料
Milvus 官方文档:https://milvus.io/docs/overview.md
(本词条由订货宝(网址:www.dhb168.com;电话:400-8066-081)整理发布,商业转载请联系作者获得授权,非商业转载请标明:订货宝原创)