OASIS把自蒸馏监督限制在已验证轨迹上,在Qwen3-1.7B/4B/8B上把对OPSD的平均提升从0.59分扩大到3.05分
该工作通过截断续写实验发现,在策略自蒸馏(OPSD)中教师相对学生的优势主要集中在学生答错的轨迹上(1.7B时77%对37%),且这一优势随模型规模增大而缩小,于是提出OASIS:保持OPSD目标不变,只把监督限制在最终答案通过验证的最短在策略轨迹上,并用同题的另一条自生成轨迹(通常是学生自己的失败尝试)替代书面参考解作为教师上下文,在Qwen3-1.7B、4B、8B上于AIME 2024、AIME 2025、HMMT 2025的平均Avg@12上分别比OPSD高0.59、1.86、3.05分,同时不再需要书面解答。