前阵子帮一个团队试内部知识库问答,问的是报销流程里一个不常见的分支。屏幕上的回答条理清楚,还分了三点,语气很笃定。我顺手去翻原文档,三点里有一点在原文中找不到出处。那一刻的感觉不是愤怒,是别扭——它答得太顺了,顺到让人差点跳过核对这一步。
这类别扭最近出现得越来越频繁。系统不再报错,也不会弹一个空白页,它给你一段读起来通顺的话。问题于是从“能不能用”变成了“哪一句能信”。
流畅是训练目标,不是正确性保证
AI大模型的底层任务说起来朴素:根据已有上下文,预测接下来该出现的词。训练过程反复强化的是连贯、贴题、符合语言习惯。这套目标能产出很像样的段落,但它优化的方向是“读起来合理”,不是“与事实一一对应”。两者大部分时候重叠,重叠之外的那部分,就是需要人留神的地方。
所以我不太喜欢用“它会不会出错”来提问。它当然会。更值得问的是:它出错的时候长什么样,容不容易被发现。
错误换了副面孔
传统软件出问题,往往有明确信号:报错码、空白结果、按钮点不动。你能立刻知道这里不对。生成式系统的失败更像一篇写得不错的错误答案,格式规整,逻辑自洽,甚至引用了看似合理的来源。复核的人如果只看表达,很容易放行。
这带来的成本转移很明显。省下的是起草时间,增加的是核验时间。核验没法完全自动化,因为判断“这句话有没有依据”本身就需要回到原始材料。有些团队把这一步压缩掉,短期看效率提升,长期看是把风险往后推。
把资料喂进去,不等于它记住了
把AI大模型接进知识库时,常见的做法是检索增强:先从文档库里找出相关段落,再交给模型组织回答。这能减少凭空编造,但它把压力挪到了检索环节。检索没找对段落,模型拿到的就是错的原料,而它依然会用同样流畅的语气转述。原料错、表达顺,这个组合比单纯的空白更麻烦。
另一个容易被忽略的点是上下文长度。窗口变大,能塞进去的资料变多,但“能放进去”和“能用好”是两件事。材料堆得越杂,模型越需要在其中做取舍,取舍过程对人并不透明。
落地时我倾向的几条做法
- 回答里带上出处,能点回原文段落。不是为了好看,是为了让核验有路径。
- 允许它说“资料里没有”。这句话要被设计成正常输出,而不是失败。
- 把动作分两类:只读的问答可以先放开,涉及提交、修改、对外发送的,留一道人工确认。
- 先在小范围、低风险的场景里跑,观察它错在哪、错得是否容易被发现,再决定铺开范围。
写这些不是要唱衰AI大模型。它在起草、归纳、改写上确实省事,用过的人都有体会。我想说的是评估的尺子得换一换:少看演示时那段漂亮的话,多看它答错时的样子,以及团队有没有办法在十分钟内发现那次答错。能把这件事说清楚的方案,才值得往下谈。