采风全网
达观天下

向量数据库不缺热度,缺的是被删除的那条记录

先说一个不太起眼的场景:某语义检索服务上线半年后,运维在日志里发现,一条早已按用户要求删除的文本,仍然出现在一次检索结果的第三位。排查下来,问题既不是权限漏洞,也不是缓存没清,真正的原因是索引里的那条向量只被打上了删除标记。

删除为什么难

多数向量索引依赖图结构或聚类结构来加速近邻查找。插入一条向量时,它会和若干邻居建立连接,这些连接关系一次成型;而删除一个节点,相当于从一张精心编织的网里抽掉一个结,整张网会松。为了避免每次删除都重建整张图,工程上的常见做法是标记删除,检索时再过滤掉命中的结果,等标记积累到一定比例再整体重建。

于是就有了时间差:标记之后、重建之前,索引的体积、结构和你以为的不一样。对多数业务来说这无所谓,但对需要彻底删除数据的场景,比如用户行使删除权,这就不是可以含糊过去的问题。判断一个向量数据库是否适合自己,问一句:删除怎么实现、多久真正生效。这比看吞吐数字有用。

语义本身就不稳定

关键词检索的对错是清楚的:搜“合同”,出现“合同”就对。语义检索没有这么清晰的边界,“相关”是一个连续量,阈值定在哪里属于业务判断,不属于技术判断。麻烦在于,同一句话经过不同版本的嵌入模型,落在向量空间里的位置会变。模型一升级,旧向量和新向量就不在同一套坐标系里,要么全量重算,要么新旧并存一段时间。

这件事数据库帮不上太多忙。它擅长存和找,不擅长判断内容该不该重新编码。所以真正被低估的工作量,往往在索引之外:版本管理、重算窗口、灰度切换。

过滤条件放在哪一步

真实查询很少只有向量,通常是先在某个租户、某个时间之后的数据里再找语义相近的记录。这时候先过滤还是先检索,两条路都有代价:先过滤,候选集可能小到让索引结构失去意义;先检索再过滤,召回的数量可能不够填满结果页。不同实现在这上面的取舍各不一样,压测时最好用带过滤条件的真实查询,而不是干净的纯向量查询。

它并非必需品

说回来,向量数据库并非所有带“智能”字样的项目都需要。数据规模不大、更新很少时,把向量放在内存里逐条算相似度,延迟也未必差,还省掉一套运维。真正让它变得必要的是几个条件叠加:数据量到了一定规模、要求稳定的低延迟、需要持久化和并发访问,还要支持带条件的检索。

所以选型时,我更愿意先问四个问题:数据多久更新一次,会不会删数据,过滤条件有多复杂,延迟预算是多少。这四个问题答完,向量数据库是不是答案,基本就清楚了。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:向量数据库不缺热度,缺的是被删除的那条记录
文章链接:https://tech.cfdanews.com/ai/2092.html