你往知识库里问“报销单丢了怎么补”,系统没有找到包含“丢了”的原文,却翻出一段讲“凭证缺失处理”的说明。这类体验背后,常被归功于语义搜索;再往下看,常会碰到一个词:向量数据库。
先把容易混淆的地方拆开。让一句话变成一串数字的,是嵌入模型;用这串数字计算相似度,是检索算法;把这些数字、原文片段和过滤字段一起管起来,才轮到向量数据库。它并不直接“理解”语义,理解发生在模型把文本、图片或音频编码成向量的那一步。数据库做的是存取、索引、过滤、更新和扩容,以及让一次查询在可接受的时间内返回候选结果。
它存下的不是文字,而是距离
向量本身通常是一组浮点数。文本被编码后,语义接近的内容在向量空间里距离较近。查询时,系统把问题也编码成向量,再找邻近点。问题在于,高维空间里逐个比对代价高,于是常见做法是近似最近邻索引,例如基于图结构的 HNSW,或先分桶再搜索的 IVF 思路。它们用一定的召回损失换延迟和内存的可控性。索引参数不是一次调完就结束,数据分布变化、过滤条件变化,都会影响结果。
这也是很多团队容易忽略的成本:向量数据库不是插上就能用。嵌入模型换了,向量维度或语义空间可能变化,历史数据要重新编码;索引重建要时间;带权限和业务条件的查询,还要把向量相似度和结构化过滤结合起来。若只算服务器账单,容易漏掉数据管道、评测集维护和召回率排查这些长期工作。
什么时候需要它,什么时候不必
判断起点不是“我们在做 AI”,而是查询形态。数据量不大、更新不频繁、只在单机内存里做临时检索,用现成的向量索引库可能就够;当数据需要持久化、多人并发、按租户隔离、带元数据过滤,还要做备份和扩容,独立部署的向量数据库才有明确位置。它解决的是检索基础设施问题,不替代业务规则,也不替代精确匹配。
另一个边界是混合检索。用户输入里常有人名、编号、日期、否定词,单靠向量距离容易把“相似”当成“正确”。全文检索、关键词匹配、规则过滤仍有位置。把多种召回结果合并,再做重排和权限校验,通常能减少单次向量查询带来的偏差。
我的判断是,向量数据库的价值不在“让机器有记忆”这类说法里,而在它能否把非结构化数据的相似性检索,变成可运维的日常能力。若团队还说不清查询延迟目标、更新频率、过滤条件和召回评测方式,先别急着上系统。把嵌入、索引和评测跑通,再决定是否引入专门的数据库,决策会踏实一些。