跳到主要内容
返回时间线
openbiox Bizard来源发表:

推理链里的风险不再只看最终答案:ReasoningShield开源1B与3B审核模型,3B在开源推理模型子集上平均F1达91.8%

核心概要

大型推理模型可能在中间推理步骤里写出不安全内容,而最终答案看起来无害。ReasoningShield把安全检测放到思维链轨迹上,配套10类风险、3个安全等级的标注体系,以及7K训练样本和2.2K人工标注测试样本。其1B与3B审核模型经两阶段训练,3B在开源推理模型子集上平均F1为91.8%,在商业推理模型子集上为81.4%。

AI-generated editorial illustration: GitHub - CosmosYi/ReasoningShield: [NeurIPS 2026] ReasoningShield: Safety Detection over Reasoning Traces of Large Reasoning Models · GitHub

深度剖析

安全审核的检查对象从模型的最终回答扩展到它写出的整条思维链,因此中间步骤里出现、但被最终答案掩盖的风险也能被单独判定。 此前的审核通常针对最终答案,而大型推理模型可能给出看似安全的结论,却在中间推理步骤中包含不安全内容。 支撑这一判断的是ReasoningShield-Test:2.2K条人工标注的查询与思维链配对,其中600条域内、1.6K条域外,来自5个数据集和8个大型推理模型,由三名AI安全研究者独立标注,Fleiss Kappa为0.75,金标签取多数投票。

检测器输出的是分步风险分析和判定,而不是一个不透明的分数,这让审核结果可以逐句追溯。 传统审核模型只给出黑箱式判断,ReasoningShield用结构化风险分析作为第一阶段的对齐目标。 训练分两阶段:第一阶段用4,358条带详细分析的样本做监督微调,对齐结构化风险分析;第二阶段用2,642条难负样本做对比学习,提升对细微风险的鲁棒性。基础模型为1B和3B,1B版本推理约需2.3GB显存。

在论文的评测中,ReasoningShield-3B在开源推理模型子集上平均F1为91.8%,在商业推理模型子集上为81.4%。 这两个数字对应不同的评测范围,不能互相替代;CoT审核对比中报告的89.1% F1采用另一种聚合方式,与开源子集平均值不同。 模型仅用7K样本训练,仓库称其在多种推理范式、跨任务场景和未见数据分布上表现出泛化;代码与1B、3B检查点以Apache-2.0发布,数据集以CC BY-NC 4.0发布。

启示与展望

已展示的范围是思维链安全审核:在ReasoningShield-Test的2.2K条人工标注样本上评测,覆盖10类风险与3个安全等级,并提供1B和3B两个检查点及配套推理脚本。仓库给出的快速开始示例只有一行输入,其指标仅用于检查流程是否跑通,不构成基准结果。

仓库明确提示91.8%、81.4%与89.1%对应不同的评测范围与聚合方式,需回到论文核对基准划分与基线。数据集为CC BY-NC 4.0,模型与代码为Apache-2.0,二者的使用条件不同。仓库称模型在未见数据分布上泛化良好,但未在此给出具体数值。