采风全网
达观天下

相似不等于相关:向量数据库落地前该问什么

一个团队把产品文档、客服记录和工单摘要切片、向量化,接到检索入口。演示时输入一句话,几段相关内容随即出现,大家觉得事情成了。上线一段时间后,新的问题冒出来:用户问的是“售后条件”,系统却召回“售后流程”;有人搜“安装失败”,结果里混进“安装说明”。这时再回看链路,向量化模型、切片方式、元数据过滤和召回后的重排,每个环节都在影响答案。向量数据库只是其中一段。

先把“相似”拆开看

向量检索把文本、图片或音频转成一组数值,再在向量空间里找距离较近的对象。这里的“近”是数学意义上的近,不等于业务意义上的相关。两段文字可能共享大量词形和语气,向量距离很近,但一段在讲条件,一段在讲步骤。反过来,用户口语和文档书面语之间也可能存在表达差异。所以,相似度召回给出的是一批候选,不是结论。距离度量、切片粒度和嵌入模型的选择,会改变候选长什么样;这些选择没法完全交给数据库完成。

它负责召回,不负责判断

向量数据库解决的是候选召回和近邻检索,尤其在语料规模上来、需要低延迟返回、还要频繁更新时,它提供了一套可维护的索引与查询接口。但它不负责理解业务规则。权限、时效、版本、地域限制,往往要靠元数据过滤或应用层校验。过滤放在检索前还是检索后,也会影响结果:先召回再过滤,可能把符合条件的内容挤出候选集;先过滤再召回,查询条件又可能变得复杂。一种做法,是把召回、过滤、重排和最终判断拆成几层,让每层只做自己擅长的事。

成本和边界藏在维护里

索引不是建一次就结束。嵌入模型升级、文档结构调整、权限变更、删除请求,都会带来重新向量化和索引重建。旧向量如果没清理,检索结果会带着过期信息;切片粒度如果太粗,召回内容可能夹带无关段落;如果太细,上下文又容易断裂。这些问题不会因为换一个存储组件就消失。引入之前,最好先问:数据由谁维护,更新频率如何,删除和权限怎么同步,召回结果由谁评估。答案不清楚,系统越“智能”,排查越困难。

什么时候值得引入

如果语料规模有限,查询主要靠精确条件和关键词,普通检索已经够用,不必因为概念流行就增加一层基础设施。反过来,当应用需要跨文档找相似内容、候选量大、更新频繁,并且团队愿意维护嵌入模型和评估流程时,向量数据库才有比较清晰的位置。它适合做语义召回的基础设施,不适合被当成语义理解层。把它当成“懂业务”的组件,往往会失望;把它当成可替换的召回引擎,反而有助于设计稳定的链路。

回到开头那个检索入口,真正要回答的不是“有没有向量库”,而是“相似之后谁来判断相关”。这个问题不解决,向量再近,也只是把更多候选推到了用户面前。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:相似不等于相关:向量数据库落地前该问什么
文章链接:https://tech.cfdanews.com/ai/1781.html