很多团队都经历过同一个场面：会议室里投屏，输入一句提示词，屏幕上哗啦啦吐出结构整齐的答案，在场的人点头。两周后再问进展，回答变成“还在调”。调的多半不是模型本身，而是它周围的那一圈东西。
演示里的问题是你自己挑的，资料是模型大概知道的，答偏了也没人担责。真实业务里，问法五花八门，口径散在文档、表格和几个老员工的记忆里，答错的代价要落到具体的人头上。这个落差，换一个参数更大的AI大模型也填不平。
先找得准，才谈得上答得好
常被低估的一环是检索。模型并不天然掌握一家公司内部的规则和说法，得先把相关材料找出来，放进上下文。找得准，它像是读过资料；找不准，它会顺着错材料一本正经地往下写。
麻烦在于后者读起来往往更顺。错误被组织成条理清晰的段落，还带着恰如其分的语气，反而比一句“我不知道”更容易让人放下戒心。所以真正要花力气的，是让系统在找不到依据时学会收口——宁可给一句笨拙的“资料里没写”，也别硬凑。
流畅是个陷阱
评判一套接入方案，不能只看它答对时多漂亮，要看它错的时候错成什么样。是含糊其辞，还是给出一个自信的错误数字？前者尚可补救，后者会在流程里一路传下去。
比较务实的做法，是攒一批带答案的问法当作衡量依据：从真实工单、客服记录、内部提问里捞，而不是自己编。每隔一段时间重跑一遍，看改动是让结果稳了还是飘了。这套东西不性感，却是把AI大模型从演示品变成工具的分界线。
- 问法要来自真实场景，包括那些表述含混、缺主语的句子；
- 除了对错，也记录“是否给出依据”，方便日后回溯；
- 改动提示词、换模型、调检索参数，都重跑一遍。
延迟和成本，写在方案之外的部分
用户等一个回答能忍多久？这件事在方案评审时常常缺席，上线后却天天被抱怨。多轮检索、长上下文、二次校验，每一项都在加时间。有些场景里，三秒和八秒的区别，直接决定人愿不愿意用。
成本同理。单次调用看着便宜，乘上日活、乘上重试、乘上那些没人预料到的高频问法，账单会换个样子。这不是要劝退，而是提醒：容量规划得放在第一版就做，而不是等财务来找。
有些位置，还是留给人
我越来越倾向于一个判断：越是需要担责的判断，越不该整段外包给模型。它可以起草、可以检索、可以把散乱信息整理成初稿，但最后那一下签字，得有人。
把AI大模型当成一个精力充沛、读得快、偶尔记岔的实习生，可能比把它当成专家更接近实际。实习生需要清楚的任务边界、能查的资料来源，以及一个会复核的人。
回到开头那些“还在调”的项目。它们卡住的地方，多半不是模型不够强，而是没人去定义什么叫答对、资料该从哪儿来、错了由谁兜。这些活儿琐碎、不显功，却决定了系统最后能不能真的被用起来。