并行推理不再把每条路径写完:PreG先看前缀再决定,54/60种配置省下token
大模型并行测试时扩展通常把每条推理路径完整生成后才用内部置信度打分,低质量路径的算力已经花掉。PreG改为先并行生成短前缀,用内部置信度排序,只把最有希望的候选补全,再按原有投票方式聚合。在Qwen3-8B与Llama-Nemotron-4B上的数学竞赛题和GPQA-Diamond评测中,它以更少token达到原方法1000k预算的准确率,60种配置里54种省token,最多省80%。
大模型并行测试时扩展通常把每条推理路径完整生成后才用内部置信度打分,低质量路径的算力已经花掉。PreG改为先并行生成短前缀,用内部置信度排序,只把最有希望的候选补全,再按原有投票方式聚合。在Qwen3-8B与Llama-Nemotron-4B上的数学竞赛题和GPQA-Diamond评测中,它以更少token达到原方法1000k预算的准确率,60种配置里54种省token,最多省80%。
大模型多步推理的测试时搜索长期在两种不完美信号之间取舍:事后投票保留多样性却无法把生成引向正确路径,束搜索式验证器引导能提前干预却容易过度集中并放大验证器误差。VGSC把逐步正确性与未来结果预测合成一个接受权重,在解码时对候选步做有上限的拒绝重采样,同时保留多条轨迹做最终自洽投票。在五个推理基准、Qwen2.5 Math 1.5B Instruct生成器与Qwen2.5 Math PRM 7B验证器下,VGSC在验证器信任指数为10时取得63.1%的平均准确率,高于最强非VGSC基线BS+SC-Future的60.7%。
大语言模型从核电厂事件报告中抽取的因果对,过去只以确定的形式给出,下游风险分析人员无法分辨可靠与不可靠的条目。一项研究把词元概率、多次随机解码的自一致性、三个独立微调模型的分歧和保形预测四路信号,用逻辑回归堆叠成每个因果对的校准置信度。在留出测试集上,合成分数的期望校准误差为0.067、AUROC为0.84,高于任一单路信号;按不确定性优先复核时,前20%的条目覆盖了82%的抽取错误,随机选择为24%。
在长上下文任务上,自洽性这种多次采样再投票的推理技巧不但没有提升,反而稳定拉低表现,原因是模型对上下文位置的偏置让多次采样犯下同一类错误,投票把错误当成共识。
一个智能体式生成式AI框架在乳腺癌与hATTR-PN两个案例中生成了疾病概念图与模型结构图,其结构与NICE相应评估所接受模型的核心疾病分期逻辑一致,自动化运行约1小时,含专家验证为1–2天,而纯人工概念化可达3个月。
这篇综述把并行推理定义为「分解—并行处理—聚合」三阶段推理范式,给出形式化公式并区分其与思维链、长思考的差异,随后按非交互(自洽性、Best-of-N排序、结构化推理)、交互(模型内交互、多智能体交互)与效率(并行解码、并行函数调用、推测解码)三条主线梳理代表性方法,并总结应用场景、核心挑战与未来方向。
已读完全部报道