采风全网
达观天下

AI大模型答得越流畅,我们越该问它在回避什么

会议室里,一段提示词被丢进对话框,几秒钟后屏幕上浮出一段结构完整、语气得体的答复。有人点头,说这个可以用了。我见过的多数试用都停在这个瞬间——被流畅击中,然后跳过追问。

流畅是这类系统最容易被感知的部分,也是最不可靠的部分。语言模型做的事情,本质上是根据上下文预测下一个词,它被优化的是“像不像人话”,而不是“是不是真的”。两者常常一起出现,却并非必然绑定。

通顺和正确,中间隔着一道沟

说“AI大模型会胡说”已经不够准确了。更值得琢磨的是,它胡说的时候往往格外自信:句子完整、逻辑自洽、语气笃定。生成过程里没有一个天然的“我不知道”出口,除非在训练或提示阶段专门教它表达不确定。于是使用者拿到的不是一份带着问号的草稿,而是一份看上去可以直接交付的成品。

这也解释了为什么很多问题在演示环节暴露不出来。演示用的提示词是精心挑过的,答案可以预判;真实业务里的提问则零散、含混、前后矛盾。模型不会因为问题模糊就停下来,它会顺着模糊往下写。

落地时的脏活,多半在模型之外

在几次落地讨论里,我发现真正决定体验的,常常不是选了哪个模型,而是围绕它的那圈工程。文档怎么切分,长上下文里靠后的信息会不会被稀释,检索不到内容时系统敢不敢承认不知道,输出要不要留一道人工复核的口子——这些都不性感,却直接决定了用户觉得“能用”还是“添乱”。

把 AI大模型当成一个即插即用的黑盒,接进去就完事,通常会在一两个月后收到一堆“它怎么又答错了”的反馈。而答错的根源,不少时候在输入那一侧:喂进去的资料本身过期、冲突、残缺。

它擅长措辞,不擅长定论

我对它的能力边界有个粗略的判断:它擅长压缩和重组已有的表达,不擅长判断哪些信息在你的业务里是新的、是缺的、是不能碰的。所以把它放在需要“措辞”的环节——改写、归类、起草、调语气——通常比较稳;放在需要“定论”的环节,就得有人在后面兜着。

这个判断也影响怎么用。与其问它“这个方案行不行”,不如让它把方案里的假设一条条列出来,再由人判断哪条站不住。前者是把判断权交出去,后者是把判断权拿回来,只借用它的梳理能力。

  • 让它复述你的要求,看理解偏没偏;
  • 要求它标出不确定的地方,而不是给一个整齐的结论;
  • 把关键结论回溯到原文,找不到出处的当作待核实。

这些做法不新鲜,也不高级,但它们把“流畅”从一个迷惑项变回一个中性特征。

留一道刹车

我不认为眼下的问题会被下一个版本一次性抹平。模型在变强,使用者对“强”的想象也在膨胀,两边总是错开一拍。更现实的态度,是把它当成一个能力分布不均的协作者:有些活干得漂亮,有些活会一本正经地跑偏,而你事先并不知道是哪一种。

判断一个团队是不是真的用过 AI大模型,我有个私下的标准:看他们有没有为“答错”准备预案。有预案的,多半被坑过,也多半摸到了它真正的脾气;没有预案却信心很足的,通常还停在演示阶段。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:AI大模型答得越流畅,我们越该问它在回避什么
文章链接:https://tech.cfdanews.com/ai/288.html