跳到主要内容
检索

# Stone(基于垫脚石的无标签自蒸馏方法)

1 篇关联报道

订阅更新
  1. arXiv

    模型不再靠答案键自学推理:Stone把一致性挪到更简单的踏脚石上,无思考模式涨13.2与22.7分

    在线自蒸馏让语言模型当自己的老师,但老师仍要读标准答案。Stone改为让模型为没把握的题写出更简单的相关题,只保留它能稳定答对的那些,再把它们的解题过程去掉最终答案后交给老师;学生始终只看到原题。在五个数学基准上,Qwen3-4B与Qwen3-8B在思考模式下取得最高平均分,无思考模式下分别提升13.2和22.7分,是带标准答案的OPSD增益的2.5倍和2.7倍。

已读完全部报道