跳到主要内容
检索

# 熵移位置掩码

1 篇关联报道

订阅更新
  1. arXiv

    用熵位移筛选蒸馏位置,让LLM评审在主观任务上比Dr. GRPO高出2–9个百分点

    该工作研究如何用自然语言反馈训练LLM评审,提出以教师与学生之间的逐位置熵位移来区分“语境锐化”和“语境扩散”两种机制,并据此遮蔽高熵位移位置,使自蒸馏评审在主观子类上比结果监督RL(Dr. GRPO)高出2–9个百分点,同时在客观子类上保持竞争力。

已读完全部报道