半年前参加一个内部项目复盘，场景很日常：团队做了个能回答公司规章的问答工具，演示时问什么都答得上来，会议室里气氛不错。上线一周，用的人渐渐少了。原因不复杂——有人问报销流程，它给了一段格式漂亮、条款编号却对不上的回答。看上去像答案，比没有答案更麻烦。
复盘时大家把问题归到模型身上，讨论要不要换一个更强的。项目负责人后来把日志翻出来，发现多数错误并不发生在生成那一步：相关的制度文档散在三个地方，其中两份是两年前的旧版，标题只差一个后缀。检索把旧的那份捞上来，模型照着旧文档写，语气笃定，错误完整。
模型之外的那段路
这类工具通常的做法是先找出相关片段，再交给模型组织语言。前半段靠检索，后半段靠生成。很多人把注意力放在后半段，因为它可见、可比较、容易讨论；前半段是杂活，没有演示价值。但通不通，往往取决于前半段。
杂活包括：文档谁负责更新，过期版本怎么标记，同一件事在两个部门口径不一致时以哪份为准，谁能看到哪些内容。这些问题不新，只是过去由人兜底——老员工知道该问谁，新人会在群里喊一声。把人工智能接进来，等于把这些模糊地带一次性暴露出来，因为它不会问，只会答。
答得像，不等于答得对
语言模型的输出是逐字生成的，通顺是它的默认状态。这带来一个隐蔽的麻烦：错误的答案和正确的答案在语气上没有区别。人会犹豫，会说“我记得好像是”，模型不会。
所以验收标准需要换个方向。与其问它答得准不准，不如问几个更具体的问题：
- 它能不能指出这段话来自哪份文件、哪个版本？
- 资料里没有相关内容时，它会不会直接说没有，而不是拼一个像样的答案？
- 同一个人隔一天问同样的问题，答案是否大致稳定？
这几条实现起来都不算难，但需要有人认真对待。它们不涉及模型能力，涉及的是产品设计里那些容易被跳过的部分。
有些环节，留给人更省事
还有一种冲动值得警惕：既然能自动回答，就让它一路答到底。但流程里有些节点，价值恰恰在于“有人负责”。对外做出的承诺、需要留痕的判断、权限边界上的操作，让一个人签字确认，成本不高，出事时却找得到人。把这些交出去，省下的时间往往抵不上后续的解释成本。
更现实的做法是分工：机器负责把材料找齐、把初稿铺开、把常见问题挡在前面；人负责判断这句话能不能说、这个结论成不成立。前者可以复制，后者暂时不行。
回到那个项目。他们后来没换模型，花了大概两个月整理文档、定版本规则、给每份材料加负责人。工具重新推的时候，回答下面多了一行来源链接。用的人慢慢回来了。这件事给我的印象是，人工智能进入一个组织，考验的往往不是它对语言的理解，而是这个组织对自己家底的清楚程度。整理家底这件事，没有捷径，也没法外包给模型。