采风全网
达观天下

当“相似”成为查询条件,向量数据库要回答什么

一次内部知识库的讨论里,有人搜“退款多久到账”,关键词匹配只命中了标题带“退款”的几条,而真正的答案写在一篇叫《资金退回周期说明》的文档里。于是有人提议做语义检索,方案的下一行就出现了向量数据库。这个提议不算错,只是它把问题提前简化了。

存进去的不是文字,是坐标

文本先经过嵌入模型,被压成几百个浮点数。语义相近的句子,在这个高维空间里落得比较近;查询时把问题也变成一串数字,然后找离它最近的若干个点。所以它的核心动作是“找邻居”,不是“比对字面”。理解这一点,后面的很多取舍就顺了:它天然擅长模糊、口语、同义替换,也天然不擅长精确的编号和专有名词。

索引是一笔交易

逐条精确计算距离,数据量一大就难以承受。实际部署里通常用近似最近邻索引,用少量召回损失换速度与内存。索引参数一调,召回率、延迟、占用三者互相牵扯,调高一路,另外两路就要让步。这里没有免费选项,只有你愿意接受哪一种误差,以及能不能说清楚这个误差在业务上意味着什么。

容易被低估的三件事

  • 过滤。真实查询几乎都带条件:时间范围、文档类型、部门归属、访问权限。先过滤再找邻居,和先找邻居再过滤,结果与性能都不一样;权限尤其不能靠事后剔除,否则被召回的内容已经在结果里露过面。
  • 更新。文档会修改、会下线。向量得跟着变,删除也不只是打个标记——索引结构要真正消化掉它,否则过期内容仍会被找出来。增量写入的节奏、重建索引的窗口,都需要提前想。
  • 评估。语义检索的答案“看起来都挺对”,恰恰因此难以判断好坏。准备一批带标注的问题集,看它漏了什么、把什么不相干的东西排到了前面,比盯着单次演示有用得多。

它不替代什么

关键词检索在精确匹配、单号、人名、产品型号上仍然可靠,把两路结果合并再排序,往往是更稳的做法。向量数据库承担的是模糊语义的初筛,筛出来的东西能不能用,仍要看业务侧那道判断。把它当成万能检索层,最后往往会得到一个“什么都能搜到一点、什么都不准”的界面。

回到开头那个需求。真正要决定的不是用哪套系统,而是:谁维护那份评测集,谁负责清理过期文档,权限在哪一层生效,召回不准时由谁来判断和修正。这些问题没有答案,索引建得再漂亮,也只是把原来的问题挪了个位置。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:当“相似”成为查询条件,向量数据库要回答什么
文章链接:https://tech.cfdanews.com/ai/2341.html