设想一个并不罕见的场景：内部知识库挂上一个问答入口，员工输入“出差住宿超标怎么处理”，回答来得很快，语气平稳，还分成三点。三点里有一点，是去年就已废止的旧规定。
问题不在文笔。模型并不知道哪一条还有效。
这类落差和模型聪不聪明关系不大。它更像一面镜子，把团队自己都没理清的东西照出来：谁维护知识、哪份文档是准的、答错了由谁兜底。这些东西过去藏在流程的褶皱里，AI大模型把它们拎到了台面上。
先把“对”写成能检查的东西
选型阶段通常很热闹，参数、价格、并发，表格拉得很长。等到上线，真正卡住人的往往是另一个问题：没人能一句话说清什么叫答对。说着说着就变成“感觉还行”。
比较务实的做法是把“对”拆成几个能逐条打勾的维度：
- 事实是否与现行制度一致，而不只是与某份历史文档一致；
- 关键结论是否给出可点开的出处；
- 遇到没把握的地方，是否明确说不知道，而不是补一句听起来合理的推测；
- 格式是否符合下游系统的要求，比如能不能被解析、字段是否齐全。
这几条写下来通常不超过一页纸，但它决定了后面所有讨论有没有共同语言。评测集也不必宏大，几十条真实问题就够开始，关键是每条都标注期望答案和不可接受的错法。
幻觉不是一个可以关掉的开关
AI大模型的输出基于概率，它倾向于给出“看起来最像答案”的那一串字。检索增强、限定上下文、要求引用原文，这些工程手段能把偏离压下去，但压不到零。指望某次调参之后彻底干净，多半会失望。
因此产品设计上要预留人的位置。结论性内容加一个确认动作，重要操作要求二次核对，把“模型起草、人签字”当成常态而不是例外。这不高级，但有效。
有些活交给它并不划算
判断标准其实简单：如果答案必须唯一，如果错了要有人担责，如果问题本身还在变，那就别急着让它独自回答。反过来，起草、改写、归类、把散落的信息汇成一页草稿，这些它做得顺手，人也能一眼看出毛病。
不少团队的挫败感来自用错了地方——拿它去做需要精确判定的事，然后因为一次错误否定了全部。
从五十条问题开始
如果现在就要动手，我建议先做一件很小的事：挑五十个真实问过的问题，写下你希望的答案、可以接受的答案、绝对不能出现的答案。不用工具，一个表格就行。做完这件事，再回头看看那些关于AI大模型的争论，会具体很多。
模型在变，标准是团队自己的。后者立住了，前者迭代时才不至于推倒重来。