会议室里有人提议让模型写一版活动方案。三十秒,两千字,结构齐全,措辞得体,围观的几个人点头。两周后,同一套东西接进实际流程,问题来了:问它上周那批客户里谁改过需求,它答不上来,或者答得很像那么回事,但经不起核对。
不是模型变笨了,是我们换了问题。写方案考的是语言组织,查客户考的是事实与边界。这两件事之间隔着的那段距离,正是AI大模型从演示走向日常时最容易被跳过的地方。
它擅长的是“像”,不是“是”
这类模型做的是根据前文预测下一个词,输出的是概率上最合理的续写。读起来通顺、逻辑自洽,但它并不内在地知道哪一句为真。这不是打个补丁就能解决的缺陷,而是机制本身。想通这一点,很多困惑会自然消解:为什么它能把不存在的条款写得有条有理,为什么同一个问题换个问法,答案就变了。
上下文塞得越满,不一定越聪明
上下文窗口越做越大,直观感受是“可以把整本手册丢进去”。实际用起来,塞得越满,成本越高、响应越慢,关键信息还容易在长文本里被稀释。更常见的做法是检索出相关几段,配上结构化的字段,而不是把所有资料一股脑推给它。窗口大小是能力上限,不是使用建议。
评估这件事,很难外包
公开测评的分数和你的业务关系不大。真正有用的是自己攒几十条真实问题,标清楚什么算好答案,然后反复跑。麻烦不在钱,而在人坐下来一条条看的时间。跳过这一步的团队,往往是在上线之后,用自己的客户来完成这场评估。
生成快了,瓶颈往后挪
模型把初稿时间从两小时压到两分钟,但审稿还是那么久,有时更久,因为要核对的东西变多了。产出速度不等于交付速度,中间那段人的注意力,不会因为模型变快而变快。这一点在排期时最容易被忽略。
有些场景,慢一点更好
需要明确责任归属、需要可追溯依据的事情,让AI大模型直接给结论并不合适。它更适合做草稿、做归类、做初步筛选,把判断留给人。这条界线画在哪里,每个团队不一样,但总得有人明确画一次,而不是默认“能用就用”。
我不太相信“再等一代模型,这些问题自然消失”。有些会缓解,有些不会,因为它们不完全是模型能力的问题,而是流程、责任和预期的问题。更务实的做法是把任务拆小:让AI大模型处理它确实擅长的那一段,剩下的交给规则、检索和人。承认它不万能,反而更容易把它用起来。