前段时间帮朋友看一个项目。他们做的是内部文档检索,资料量大概几十万份,团队里有人提议上一套向量数据库,理由是“现在都这么做”。我问了一句:你们现在用什么存数据?回答是 PostgreSQL,已经跑了好几年。于是问题就变成了:为了这几十万份文档,值不值得再引入一个独立组件。
这个问题没有标准答案,但它比“选哪个向量数据库”更值得先想清楚。
它到底在做什么
向量数据库的核心工作并不神秘:把文本、图片、音频这类内容经过模型编码成一串数字,也就是向量,然后在这些向量里找出与查询向量最接近的那些。传统数据库擅长“等于”“大于”“包含”这类精确条件,而“意思相近”这种模糊判断,恰恰是它的短板。
真正让它区别于“给普通数据库加个向量列”的,通常是索引结构和查询路径的专门化。数据量小的时候,逐条比对也能出结果;当向量数量涨到百万、千万级,暴力计算的时间成本就变得难以接受,需要近似最近邻这类方法来换取速度,代价是结果可能不是绝对精确。这是一笔工程上的权衡,而不是魔法。
所以,向量数据库的价值区间很明确:向量规模到了一定程度,且查询延迟、召回质量、并发能力开始成为真实压力时,它的存在才有意义。
多数团队的第一阶段,不需要它
我见过不少项目,向量总量不过几万条,查询频率也不高,却先花了两周搭集群、配监控、写运维文档。等真正跑起来,发现瓶颈根本不在检索,而在上游的文档切分和模型调用。
在数据量不大、更新不频繁的场景里,一些成熟的关系型数据库已经提供了向量类型和相似度运算,配合简单的索引就能满足需求。好处是少一个组件、少一套备份策略、少一个半夜可能报警的服务。对一个三五人的团队来说,这种“少”本身就是收益。
判断是否该独立部署,我一般看三件事:向量规模是否会持续增长到需要专门索引;检索是否成为产品的核心链路而非辅助功能;团队是否有余力维护一个新的有状态服务。三条里只满足一条,往往还可以再等等。
被低估的是运维,不是性能
选型讨论里,大家习惯比较查询耗时和召回率,这些指标当然重要,但它们通常在压测环境里看起来都不错。真正拉开差距的是日常:索引重建要多久,内存占用随数据增长如何变化,版本升级是否要停机,备份和恢复有没有成熟路径,出问题时能不能找到人。
向量数据库大多是有状态服务,数据文件和索引结构绑得比较紧。这意味着扩容不是简单加机器,迁移也不是拷贝一张表那么轻松。把这些成本算进去,很多“性能更好”的结论会变得没那么有说服力。
另一个容易被忽略的点是数据新鲜度。业务数据每天都在变,删除和更新在向量索引里往往比插入更麻烦。如果产品要求检索结果紧跟最新状态,就得先想清楚更新链路怎么设计,而不是等上线后才发现旧内容一直冒出来。
把它放回系统里看
我更愿意把向量数据库看成检索链路中的一段,而不是一个独立卖点。前面有内容解析、切片、编码,后面有重排、过滤、拼装上下文。任何一段做得粗糙,整条链路的效果都会被拖住。曾经有个现象很典型:检索结果不理想,团队第一反应是换数据库,换完之后发现问题依旧,最后定位到是切片策略把一段完整说明切成了两半。
这也解释了为什么关于它的讨论常常跑偏。工具本身没有对错,关键是与当前阶段是否匹配。规模小的时候,简单方案跑得稳;规模涨上来,专业组件的优势才逐渐显现。这个过程是渐进的,不需要一步到位。
回到开头那个项目,最后的方案是先在他们现有的数据库里加向量字段,把检索跑通,观察三个月的增长曲线和查询压力,再决定要不要独立部署。这个决定谈不上先进,但足够诚实。
技术选型里,最贵的往往不是软件许可,而是那些看不见的维护时间。想清楚这一点,向量数据库要不要买那台机器,答案其实已经浮出来了。