把一个含糊的需求丢给大语言模型,几秒钟后它会返回一份结构完整、语气笃定的答复。问题往往出现在下一句:你问它依据是什么,它会换一种说法,把刚才那段话再讲一遍,语气依然笃定。
这种体验重复几次,人会形成一种直觉:它答得快,不代表它答得准;而它答不准时,看上去和答得准时几乎一样。这个「一样」,才是真正需要留意的地方。
它被训练成「接得上话」,而不是「说得对」
从机制上说,大语言模型的学习目标近似于「在给定上下文时,下一个词最可能是什么」。它学到的是语言的分布规律:什么样的句子在什么样的语境里出现得更自然。真实性是另一套标准,要靠外部世界核对,而这件事不在它的目标函数里。
于是出现一种结构性错位:人说话卡壳时会停顿、会说「我不确定」,这些犹豫本身就是信号;模型没有对应机制,它的不确定被均匀地分散到流畅的措辞里。你读到的自信来自句式的完整,而不是结论的可靠。
把「检索」和「生成」分开看
一种常见的补救办法是让它引用来源。方向没错,但要小心一个错觉:脚注、链接、条文编号看起来像证据,读起来也像证据,可它们同样是被「生成」出来的。当引用本身无法验证时,它反而抬高了可信度的表面值。
更稳妥的做法是在流程上分开:先检索,拿到可核对的原文本,再让模型基于这些文本组织语言。这时它的角色从「知道答案的人」变成「把材料整理清楚的人」,任务难度下降,出错的空间也随之收窄。同样的道理,把开放式提问换成结构化输出(字段、分类、对照表),也便于事后抽查。
不是所有任务对「真」都同样敏感
把改写后的段落读一遍、给一批反馈做主题归类、想十个活动名字,这些场景里,偶尔的偏差代价很低,人一眼就能看出来。但换成合同条款的转述、时间节点的推算、人名与职务的对应,同样的偏差就可能变成返工甚至事故。
所以在具体工作中,先判断任务属于哪一侧,比反复比较不同模型的表现更有意义。有些团队把精力花在打磨提示词上,实际收益有限;真正省下时间的,往往是那些想清楚了「哪一步不能交出去」的人。
会承认「不知道」,才算往前走了一步
目前一些产品尝试让模型表达不确定性,或者在不支持回答时选择拒答。方向是对的,但尺度很难把握:过度拒答会让工具变得没用,过度自信则让使用者失去警觉。这个平衡点不完全由技术决定,也和具体场景的容错空间有关。
对使用者来说,可操作的部分其实不多,但很实在:把关键结论当作待核对的草稿,而不是终点;在需要精确的地方保留人工环节;对流畅到异常的回答多问一句「这句话我从哪里能查到」。
大语言模型真正成熟的那天,也许不是它出错更少,而是它更愿意在没把握的时候停下来,说一句「这里我不确定」。在那之前,读懂它的「不知道」,仍然是使用者自己的功课。