傍晚调接口和凌晨调接口,同一个模型,回话的节奏常常不一样。多数人的第一反应是服务端在限流,这有可能;但还有一层原因藏在机器里:模型每吐一个字,都要走一遍前向计算,而这段时间里,排队、显存、批处理策略都在变。
一次生成分两段,瓶颈并不相同
把一次请求拆开看,大致是两个阶段。前一阶段读你给的提示词,把整段文本编码成中间状态,这部分计算密集,矩阵乘法的并行度高,算力容易被吃满。后一阶段逐字往外吐,每生成一个词都要把之前的上下文重新过一遍注意力,而这一步的算术强度低,时间大多花在把权重从显存搬到计算单元上。
两个阶段的脾气不同,能用的手段也不同。可惜很多讨论把它们混在一起谈,笼统地说“模型慢”,结果力气落在了不该落的地方。
缓存与显存:省下的计算,要用空间换
后一阶段最直接的重复劳动,是注意力里那些键值对。既然每次生成都要用到,索性算一次存下来,这就是 KV 缓存。它把重复计算换成了显存占用,而上下文一变长,缓存就线性膨胀,显存先被撑满。于是有了分页管理、低位量化、按重要性淘汰这些做法。它们各有代价:淘汰会损失信息,低位表示会带来精度偏差,分页会引入额外的调度开销。没有哪一种能免费拿走好处。
批处理的两面
单个请求喂不满硬件,把多个请求拼成一批,可以摊薄权重搬运的成本,吞吐随之上升。但批的大小并非越大越好:一个新请求要等前头那批算完,排队时间拉长了单次响应的等待。所以对话类业务和离线批处理业务,对同一套参数的容忍度完全不同。有人抱怨“白天特别慢”,往往不是模型算得慢了,而是同一块卡上同时塞了太多请求。
量化与投机解码:两种不同的省法
- 量化把权重和激活用更少的位表示,搬运的数据量小了,而后一阶段的瓶颈恰好在这里,收益通常比较直接。但精度损失能不能接受,要看任务,不能一概而论。
- 投机解码让小模型先草拟几个词,大模型一次性校验。草稿被接受的比例决定了实际收益,比例低的时候,反而多花了计算。
先测量,再动手
常见的情形是,团队把注意力放在算子微调上,最后发现瓶颈在请求排队和显存碎片。推理优化的第一步通常不是改模型,而是把时间花在哪一段量清楚:是提示词太长卡在预填充,是逐字生成本身受限于带宽,还是调度器在空转。
也要承认边界。流量小的时候,优化的绝对收益有限,投入的人力可能很久收不回来;为了压几毫秒引入的自定义算子,往后每次升级框架都要重新验证,这份维护成本常被低估。模型能力与响应速度之间也有取舍,把生成切得太碎,用户读到的连贯性会打折。
回到开头那个傍晚与凌晨的差别。它提醒的事情其实朴素:模型是同一个,跑法不是。推理优化做的,多半是把“跑法”里那些说不清的部分,一点点说清楚。