跳到主要内容
返回时间线
arXiv来源发表:

模型不再靠答案键自学推理:Stone把一致性挪到更简单的踏脚石上,无思考模式涨13.2与22.7分

核心概要

在线自蒸馏让语言模型当自己的老师,但老师仍要读标准答案。Stone改为让模型为没把握的题写出更简单的相关题,只保留它能稳定答对的那些,再把它们的解题过程去掉最终答案后交给老师;学生始终只看到原题。在五个数学基准上,Qwen3-4B与Qwen3-8B在思考模式下取得最高平均分,无思考模式下分别提升13.2和22.7分,是带标准答案的OPSD增益的2.5倍和2.7倍。

Source-provided article image: Simplify, Agree, Distill: Label-Free Self-Distillation with Stepping Stones
arXiv

深度剖析

语言模型可以在不读标准答案的情况下从自己身上学到推理能力,办法是把“自我一致”的判断从难题挪到模型自己写出的更简单相关题上。 此前的在线自蒸馏把标准答案交给老师,而不用标签的替代做法是对原题多次尝试投票,投票恰好在值得学习的难题上失效。 在Qwen3-4B没有把握的9218道训练题中,28%的题没有任何答案被一半尝试共享,其余题上最常见答案有31%是错的;而模型为这些题写出的踏脚石在8次尝试中平均一致率为0.77,原题只有0.54。

训练时老师看到的是踏脚石及其去掉最终答案的解题过程,学生只看到原题,因此推理时不需要踏脚石,也不需要额外调用模型。 老师不再读标准答案,而是读模型自己写出并通过一致性筛选的更简单题目。 在五个数学基准上,Qwen3-4B与Qwen3-8B在思考模式下的平均分分别为77.55和79.20,高于带标准答案的OPSD的76.20和77.97;无思考模式下为54.17和66.29,比OPSD的46.29和52.04分别高7.9和14.3分。

筛选规则要求踏脚石被稳定答对、一致率高于原题、且答案不同于原题的最常见答案,从而把老师的上下文限制在模型可靠的问题上。 若踏脚石与原题同答案,通常只是改写原题,会把模型对原题那个常常出错的投票交给老师。 Claude Opus 5对Qwen3-4B在思考模式下写出的27563块踏脚石做审计,保留的踏脚石中78%被判定为提法良好且答案正确,被拒绝的只有27%;在原题投票不可用或投票错误时,保留踏脚石的合格率分别为76%和81%。

启示与展望

演示范围是29,434道数学训练题上的Qwen3-4B、Qwen3-8B与Gemma 4 E4B,评测覆盖AIME24、AIME25、HMMT25、MATH500与AMC23,训练只更新LoRA适配器。

踏脚石上的一致并不等于正确,审计判断约五分之一的训练踏脚石提法不佳或答案错误,且该审计本身由模型完成而非人工核验;生成与检查踏脚石会增加蒸馏前的预处理时间;增益能否在更大规模上保持仍未确定。