评分细则不再白给:RuACT把全对与全错的细则分别变成教师和更细的裁判
核心概要
按评分细则做强化学习时,一组回答全部通过或全部不通过的细则在组内相对优势中被抵消,Qwen3-4B医学训练里这类失活细则占查询–细则观测的60.88%。RuACT按细则当前状态分配角色:全不通过的细则作为特权信息交给冻结的自教师做奖励门控的在线自蒸馏,全通过的细则拆成能区分当前回答的子细则并共享父细则权重。在四个医学与科学基准上,Qwen3-4B的RuACT在每一项都优于GRPO、细则重加权和细则引导探索,ResearchQA从64.82%升到69.44%。
深度剖析
评分细则强化学习里有一类细则对当前策略不产生任何学习信号:一组采样回答全部不满足它,或全部满足它,组内相对优化就把它的贡献抵消掉。 此前把细则当裁判的做法靠重加权或课程安排挑出有信息量的细则,把细则当教师的做法靠引导探索或特权信息蒸馏补行为,但常数贡献在任何权重下都会抵消,替换细则又改掉了原始要求。 Qwen3-4B在RaR-Medicine上训练时统计了122,768条查询–细则观测,25.19%为全不通过、35.69%为全通过,合计60.88%失活,各检查点介于58.95%与60.86%之间。
两种失活缺的东西不同,因此各自拿到能补上缺口的那一种监督。 冻结的Qwen3-4B在普通提示下对初始全不通过细则的满足率只有1.13%,把该细则写进提示后升到91.25%;而全通过细则的回答在独立细粒度裁判下仍有71%的组内质量差异,全不通过细则只有29%。 这两项诊断都在RaR-Medicine上用冻结的Qwen3-4B做推理期探测,全不通过一项基于100对初始全不通过细则,通用指令对照为3.38%。
RuACT在每一轮 rollout 组里按细则状态重新分配角色,全不通过的交给教师,全通过的交给更细的裁判,有信息量的细则保留原奖励。 教师侧把最多三条权重绝对值最大的全不通过细则追加到冻结自教师的提示里,只在引导回答的总奖励超过所有普通 rollout 时才蒸馏最高奖励普通回答前缀上的 token 分布;裁判侧用只看到查询和父细则的提议模型生成子细则,保留通过率非端点的候选并让它们共享父细则的权重预算。 四个医学与科学基准上,Qwen3-4B的RuACT平均59.12%,高于GRPO的56.52%和最强本地基线Reweight的57.28%;Qwen3-1.7B平均47.17%,高于GRPO的45.04%和RuscaRL的45.78%。
两种角色各自恢复了它针对的那部分监督,合起来效果最好。 无引导条件下,训练后策略对初始全不通过细则的满足率从GRPO的35.02%升到42.86%;子细则细化让奖励排序与独立质量判断的一致率从57.74%升到60.77%。 恢复率在331条固定RaR-Medicine训练查询的931条初始全不通过细则上每40步用八次无引导 rollout 测量;一致率在300个 rollout 组、2,400条回答的盲判上统计,打乱子细则时覆盖率更高但一致率降到53.62%。
启示与展望
实验覆盖RaR-Medicine与RaR-Science训练、HealthBench与ResearchQA评测,模型为Qwen3-1.7B和Qwen3-4B,训练200步、每组8条回答,训练期判定用Qwen3-32B、主评测用DeepSeek-V4.1-Flash。所有评测都依赖LLM裁判而非专家复核,训练出的模型是研究产物,不应在没有专业监督时用于临床建议或决策。
子细则由LLM提议,可能不总能忠实覆盖父细则的原意;失活标签来自当前有限的回答组,反映的是当前采样而非策略的内在属性;对更大模型和更广领域的泛化尚未探索,教师引导与裁判细化还带来额外训练推理开销。
