推理模型学会在局部停笔:LoCo只改继续或收尾的偏好,数学补全长度减少41.7%–45.4%
大推理模型常在信息已经足够后继续长篇推理,推高解码延迟与显存开销。LoCo把压缩决策放到单个推理状态上:从模型自身轨迹中找出过度思考的候选状态,冻结该前缀,重新生成更短且答案验证正确的续写,再用DPO学习“继续还是收尾”的偏好。在五个数学基准上,补全长度减少41.7%–45.4%,准确率保持或提升;仅用数学数据训练后,同一模型在三个代码基准上长度减少23.4%–36.3%。
大推理模型常在信息已经足够后继续长篇推理,推高解码延迟与显存开销。LoCo把压缩决策放到单个推理状态上:从模型自身轨迹中找出过度思考的候选状态,冻结该前缀,重新生成更短且答案验证正确的续写,再用DPO学习“继续还是收尾”的偏好。在五个数学基准上,补全长度减少41.7%–45.4%,准确率保持或提升;仅用数学数据训练后,同一模型在三个代码基准上长度减少23.4%–36.3%。
一种把心理语言学中的均匀信息密度假设写进偏好优化奖励的方法,在 AlpacaEval 2、Arena-Hard 与 MT-Bench 上与 SimPO 互有胜负,并在英语补语从句的 that 使用上更接近自然语言。
快手与南京大学提出双向偏好合成(BPS):对每个通过验证的边界失败,在原始提示下保留常规前向偏好对,并额外合成一个“已达成提示”下的反向偏好对,使同一回答在错误处被拒、在正确处被选;在Qwen3-4B-Instruct-2507上,BPS在保持原始侧成对排序的同时,将留出交叉锚点上的达成侧排序准确率从6.8%提升到62.3%,且不改变DPO目标、不训练奖励模型、不需要在线采样。
该工作提出 Suan,一种新的偏好优化算法,其优化目标直接在梯度层面构造,绕过了标准的变分推导,从而获得更可解释、更稳健的训练动态;在多样化的竞争性基线与基准上的广泛评估显示,Suan 在实现更优安全对齐的同时完整保留了回答效用。
该工作研究在线迭代式纳什人类反馈学习(NLHF),指出探索是关键障碍:标准迭代 NLHF 的遗憾可能随逆 KL 正则参数呈指数增长,说明仅靠策略更新带来的隐式探索并不充分;为此提出 ENPO,将 SFT 型正则化与对抗式策略探索结合,在不依赖极小极大 oracle 或显式偏好模型估计的前提下消除该指数依赖,并进一步给出使用额外 oracle 达到 O(log T) 遗憾的 BENPO,以及面向大模型微调的实用变体 DENPO;在 Llama-3-8B-Instruct 上,DENPO 在多个基准上相对所评估的 RLHF 与 NLHF 基线取得一致提升。
这篇发表于 TMLR 的综述首次系统梳理视频生成模型的后训练与对齐,把方法按对齐信号如何被施加分为隐式与显式两类,并归入监督微调、自训练与蒸馏、偏好与奖励优化、推理时方法四大类,同时整理常用数据集、基准与评测实践,并讨论可扩展奖励设计、长时程时序一致性、稳定性与表现力权衡以及安全生成等开放挑战。
该工作指出显式风格指令会削弱个性化大模型保留的用户特征(称为 personalization collapse),提出把个性化建模为同一输入下用户真实语言分布与基座模型中性分布之间的“分布残差”,并据此设计轻量插件 PsPLUG:在冻结的 Qwen3-8B 主干上注入由系统指令向量、用户向量和输入向量拼接而成的 3 token 前缀,用风格条件下的偏好目标(Bradley–Terry 成对损失)学习用户特有残差,并在推理时通过缩放系数调节个性化强度;在 LaMP 基准上,PsPLUG 在无风格指令时总体优于非个性化、RAG、PAG、PPlug、OPPU 等基线,在四种风格(Warm、Critical、Concise、E
该工作提出 ClinCoT,一个临床感知的视觉思维链框架:用临床假设驱动区域生成(借助 MedKLIP 类工具产生疾病条件激活图并提取候选区域),让目标 Med-VLM 在原始图像与各候选区域联合条件下生成多条区域条件推理链,再由两个 Med-LLM 评估器按当前步得分与下一步影响加权、并以评估器一致性惩罚分歧,构造偏好对;训练采用带分数间隔的 margin-aware DPO 与迭代式偏好数据再生成,在 SLAKE、VQA-RAD 与 IU-Xray 上多数指标优于 DPO、Self-Rewarding、STLLaVA-Med、POVID、SIMA、FiSAO 与 MMedPO,其中报告生成任务最强,VQA-RAD 上低于 MM
已读完全部报道