一个不算大的麻烦:在内部文档系统里搜「报销流程走多久」,标题写着「费用结算时效说明」的那篇偏偏不出现。字面不重合,关键词匹配就无从下手。这类抱怨积累得多了,把句子编码成向量的做法被搬上台面,也顺带把向量数据库推到了工程讨论里。
它做的其实是把「像」换算成距离
文本经过模型编码会变成一串浮点数,语义接近的句子在这片空间里彼此靠得近。检索于是退化成找最近邻。概念简单,麻烦在规模:几万条向量逐条算距离,单机内存里跑一遍也就过去了;到了更大的量级,就得靠索引结构支撑——把空间切块、建近邻图、做量化压缩,用一点精度换掉大部分计算。
向量数据库承担的正是这一层:写入、建索引、带过滤的近似查询、增量和删除。它不负责理解语义,理解发生在编码那一步;编码模型换了,向量空间就变了,旧数据要么重算,要么新旧混着用——后者在检索时会出现说不清的偏移。
难的不是找得准,是找得准还得筛得对
真实业务里的查询很少是纯向量。用户要的是「最近三个月、我所在部门、且语义相关」。过滤条件和近邻搜索搅在一起时,两种顺序各有代价:先过滤可能把候选集切得太碎,索引结构退化;先搜索再过滤,召回数量就变得不可控。系统在这一点的实现方式差别很大,值得追问一句:过滤是在索引遍历过程中做的,还是结果出来之后补的。
更新同样别扭。向量写入后往往要重建部分索引结构,写入放大和查询延迟互相拉扯。有些团队索性把它当只读副本,事实数据留在原来的库里,靠异步同步过去,牺牲一点新鲜度换稳定。这个选择谈不上好坏,只看业务能容忍多旧的检索结果。
它很难单独撑起一套系统
原始文本、权限、事务仍然在关系库或文档库里,向量层更像是挂在旁边的一条检索通道。于是常见一种架构:主库负责事实,向量库存语义索引,两边靠 id 对齐。最容易出问题的地方是删除——主库删了记录,索引里还留着,检索返回一条指向空处的链接。同步逻辑写得糙,这种脏数据会慢慢堆积。
因此评估一套方案时,除了查询延迟,更实际的问题是:删除怎么传播、权限怎么在检索时生效、索引重建要停多久。这些不在演示里出现,却决定了它能不能长期跑下去。
边界:先问能不能接受「近似」
数据量小、查询不频繁时,在内存里算一遍余弦相似度完全够用,为这点需求引入一套独立服务,运维成本未必划算。反过来,当语义检索成为主要交互方式,索引参数、分片、召回评估这些事就绕不开,得有专人盯着。
更前置的问题是:能不能接受返回的不是全集,而是一个概率上够用的子集。这个前提说不清楚,后面所有调优都是空的。那篇报销文档搜不到,最后也许不是换数据库能解决的,而是先想明白谁来维护语料、多久更新一次、允许漏掉多少。这些问题有答案之前,选型只是把不确定性往后推了一步。