跳到主要内容
检索

# 推理痕迹安全检测

1 篇关联报道

订阅更新
  1. openbiox Bizard

    推理链里的风险不再只看最终答案:ReasoningShield开源1B与3B审核模型,3B在开源推理模型子集上平均F1达91.8%

    大型推理模型可能在中间推理步骤里写出不安全内容,而最终答案看起来无害。ReasoningShield把安全检测放到思维链轨迹上,配套10类风险、3个安全等级的标注体系,以及7K训练样本和2.2K人工标注测试样本。其1B与3B审核模型经两阶段训练,3B在开源推理模型子集上平均F1为91.8%,在商业推理模型子集上为81.4%。

已读完全部报道