让一个模型改一段产品说明,第一轮效果不错,第二轮也还稳,到第三轮,它开始用感叹号了。可你分明在第一轮就说过“不要用感叹号”。这不是偶发,换几个任务、换几种问法,类似的事还是会冒出来。
它并不“存”,它每次都重读
多数人下意识把对话当成聊天记录,以为模型在累积经验。实际情况更朴素:每发一次请求,它把此前所有文字重新读一遍,然后逐词生成下一段。整个过程没有跨轮次的存档动作,前文之所以“还在”,是因为它又被放进输入里读了一次。
所以第三轮丢掉约束,不是它偷懒,而是那条约束在越来越长的输入中被稀释了。对话越往后走,早先那几句话在整体文本里的分量越轻。
窗口变大,没解决“每句分到多少注意力”
上下文窗口常被理解成记忆容量,更贴切的说法是一次能读多长。窗口扩大会让更多材料进得来,但进得来不等于每处都得到同等对待。注意力机制在计算词与词的相关度,文本越长,权重摊得越薄。开头写下的硬性要求、中间塞进去的参考资料,都可能被后面的内容压过去。
这也解释了一个常见现象:把关键约束挪到靠近提问的位置,或者每轮重申一次,结果常常不同。谈不上玄学,只是输入的结构变了。
使用方式反过来设计
对经常使用大语言模型的人来说,与其训练它记性,不如调整自己递东西的方式:
- 把要求写成可逐条核对的短句,而不是一段含混的散文;
- 长文档分段处理,别指望一次读完还能处处照应;
- 多轮修改时,把仍然有效的约束重新贴一遍,成本很低;
- 让它先复述一遍约束再动手,多一步,但省掉后面的返工。
这些做法谈不上高明,只是承认了它的工作方式:无状态、逐次重读。
别把两层问题混在一起
有人期待它像同事那样记得上周讨论过什么。这个期待本身合理,但它对应的是另一层工程——外部存储、检索、会话管理——而不是模型内部。把两者混为一谈,容易得出两种都失真的判断:要么觉得它什么都干不了,要么觉得它什么都能记住。
大语言模型在单次上下文里的表现,与它作为一个长期协作者的表现,本就不是一回事。前者取决于输入怎么组织,后者取决于外围系统怎么搭。
下次它“忘”了,先回头看看上下文里还剩什么。多数时候,问题不在模型,在输入。