推理模型多了一个“不写就答”的开关:HDM 用一次前向的隐状态决定要不要生成思维链
核心概要
混合决策模型 HDM 把“不生成任何 token 直接作答”和“完整自回归推理”放进同一个冻结骨干,由一个轻量自路由模块在生成前决定走哪条路。该模块估计“思考的价值”,即慢模式相对快模式预期带来的正确率增益,只在增益超过请求设定的价格时升级。在 MiniWoB 上,HDM 以 0.469 的奖励对全推理的 0.519,思考 token 减少 80%、实际耗时减少 67%。
深度剖析
同一个冻结骨干现在可以两种方式回答一个问题:要么在一次前向中直接给出决策、不生成任何 token,要么完整写出推理链再作答。 此前的自适应推理方法只是缩短写出的推理,或在模式间切换,答案仍要逐 token 生成;路由类方法则在多个模型之间选择,每个分支都要生成答案。 在 AGIEval 上,Qwen3.8-27B 骨干的 HDM 在某一价格下放弃 0.9 个百分点的全推理准确率,换来少 30% 的 token;在 MMLU-Pro 上,同一骨干在 22% 更少 token 的那一档准确率为 0.890,全推理为 0.902。
路由信号来自快模式已经算出的隐状态,因此做决定本身不额外消耗一次前向或一个 token。 自路由模块读取骨干某一层在读出位置的隐状态和八个分布统计量,输出快、慢两种模式四种联合结果的分布,从而同时估计两种模式的效用。 消融显示隐状态携带了主要信号:第 24 层原始隐状态配置的跨验证路由 AUROC 为 0.778,而只读输出分布的版本为 0.671;在三个留出学科类别上分别为 0.762 和 0.701。
在回合级任务中,没有逐步标签时,CDPO 用整条轨迹的回报训练同一个路由模块。 单轮问题有标准答案,可以跑两种模式构造四类标签做监督;多轮智能体任务的成功由连续动作决定,缺少逐决策标签。 在 ALFWorld 上,HDM 在某一价格下取得 0.560 的奖励,介于只用快模式的 0.463 和只用慢模式的 0.642 之间,同时只花 52% 的思考 token;在 MiniWoB 上取得 0.469,对全推理的 0.519,思考 token 减少 80%、实际耗时减少 67%。
启示与展望
演示范围限于 Qwen3.5-4B 与 Qwen3.8-27B 两个冻结骨干,慢模式采用贪心解码;在思考预算上限下,Qwen3.5-4B 有部分问题被截断,Qwen3.8-27B 也有少量问题被截断,因此相应 token 数与准确率是下界。训练集取自 MMLU-Pro 的十一个学科类别,化学、经济学和心理学三类留出作为测试,AGIEval 与 GPQA-Diamond 用于进一步测迁移。
作者明确表示,相对于已发表系统所主张的是更低 token 成本下的竞争力而非全面领先:在 BANKING77 上,有两个对比配置答对的题目多于 HDM,且引用自其他工作的延迟是在不同后端上测得的。CDPO 优化的是替代目标而非回合级目标本身,逐决策重要性比率会带来偏差,信用分配也是该配方中最弱的假设。路由模块在最后一层读取隐状态是出于通用性,而消融显示第 24 层在单个种子上更好。
