把一份长报告粘进对话框,问到第三段时,回答开始偏离原意。多数时候,这不是大语言模型突然不会了,而是它能看到的上下文有限。上下文像一张工作台,不是仓库;台面上摆什么,决定了它此刻能接住什么。
一段被截断的对话
多轮对话里,早期设定的约束常被后来的内容挤到边缘。用户以为“说过一次”就相当于存档,系统却只对当前窗口里的文本负责。这里的“忘记”不是记忆故障,而是工作台被换了一张。不同产品的保留策略并不一样,使用者需要先弄清楚哪些内容仍在台面上。
上下文窗口不等于记忆
扩大上下文窗口,能塞进更多材料,但注意力如何分配、位置是否影响读取、噪声会不会淹没关键句,仍是现实问题。窗口变长也往往带来延迟和成本。另一个实际问题是:哪些信息必须常驻,哪些可以按需取回。把所有内容都推进窗口,不一定是划算的做法。
检索增强提供了一种临时书架:把外部资料切片、召回,再拼进当前上下文。它不替代大语言模型,而是把“记住”拆成“现查”。效果取决于切片方式、召回质量和引用校验;没有核对机制,书架也可能递错书。
把“记得”拆成可操作的部分
- 约束常驻:角色、格式、禁区、输出结构放进系统提示,别散落在多轮对话里。
- 事实外置:需要引用的材料放在可检索位置,回答时带上出处,便于人工核对。
- 状态摘要:长对话隔一段做结构化摘要,保留决策和未决问题,丢掉寒暄。
- 流程校验:让模型先列假设再给结论,或把关键步骤拆开,减少一次性长链推理的漂移。
这些做法听起来像工程琐事,但大语言模型的可用性常藏在这些琐事里。提示词不是咒语,检索不是万能补丁,窗口也不该被当成容量竞赛。
边界感也是设计输入
如果团队把大语言模型当成会自己记住一切的同事,失望会来得很快;把它当成一个需要清晰工位、资料卡和复核机制的合作者,预期会稳一些。边界不是限制,而是让系统可解释的起点。动手之前,先问三个问题:哪些信息必须始终可见?哪些可以现查?回答错了由哪一步兜住?想清楚这些,再谈窗口大小和功能清单。