一份需求文档被丢给模型,几秒后返回一段结构清楚的摘要:背景、目标、待办,语气平稳。会议室里有人准备直接转发。我多看了一眼,发现它把两个部门的职责揉在了一起,还把一句“暂定”写成了确定安排。
这类时刻很能说明问题。大语言模型容易被感知的能力,是“写得像”;不容易被一眼看出的,是“哪里没把握”。
流畅来自预测,不来自核对
从机制上说,大语言模型在做的事,是根据已有上下文预测接下来更可能出现的词序列。它学到的是语言和知识的统计结构,不是一套随时可查验的事实账本。于是,表达越顺,越容易让人误以为推理也完整。可一段文字只要逻辑连接词齐全,读起来就会显得可信,哪怕其中某个主语被悄悄换掉。
我不太赞成把这种现象简单归为“胡说”。更准确地说,模型在补全一个看起来合理的答案。合理与真实之间,隔着核对这一步。而核对,恰恰是当前使用流程里常常被省掉的。
长上下文不等于记性好
另一个常见误解与“记忆”有关。把一份长文档放进对话窗口,模型能在当前上下文里引用其中内容,但这和多轮之后仍然牢牢记住了它是两回事。上下文是临时工作台,不是长期记忆;模型参数也不会因为一次对话就自动更新。实际使用中,文档一长,前后信息相互覆盖、指代变得模糊,回答仍可能保持自信的语气。
所以,与其问模型“能不能记住”,不如问流程“有没有留下可回溯的痕迹”:原始材料在哪里,回答依据哪一段,修改前后差了什么。对需要对外发布的内容,这些问题值得先问。大语言模型适合做初稿、改写、归类,却不适合在没有复核的情况下独自承担最终判断。
把审核做成流程的一部分
我见过的稳妥做法,通常不复杂,但有点笨:让模型输出结构化结果,把不确定项单独列出来;对关键数字、时间、责任主体设置人工确认;需要事实依据时,先检索再生成,而不是让模型凭记忆补全。检索增强能缓解一部分问题,但它也不是保险箱,检索到的内容同样需要判断来源和时效。
- 让回答附带“依据片段”,而不是只给结论;
- 把“暂定”“待确认”等词保留下来,不允许模型擅自改成确定表述;
- 对外内容保留人工签发环节,别把流畅当成审稿意见;
- 涉及个人信息或内部材料时,先确认数据会被如何处理。
这些做法听起来不够智能,却能让使用者知道自己在信什么。大语言模型的价值,可能不在于替人做完所有事,而在于把粗糙材料快速推到可讨论的状态。剩下的判断,仍要有人坐下来完成。
回到那份摘要。后来我们让它把不确定处标黄,再由文档负责人逐条确认。速度没有想象中快,但转发出去的那一版,至少知道每一句是从哪里来的。