跳到主要内容
返回时间线
arXiv来源发表:

奖励模型打分不再只给一个数:VRMaaS把请求、权重和配置绑进可验证凭证

核心概要

奖励模型(RM)在LLM对齐流程中越来越多地作为服务组件返回分数,但普通接口只给一个数,无法说明它是否来自指定的请求、检查点和数值配置。VRMaaS把每次返回的奖励变成携带证明的凭证,用链下验收规则绑定请求身份、权重承诺、验证器与配置标识、证明任务顺序和导出摘要,审计方无需重跑私有模型即可核对。在1B、3B、8B奖励模型、128至1024个token的设置上,它与基线RM保持93.5%至99%的成对一致率,并拒绝全部被测的服务字段替换。

Source-provided article image: VRMaaS: Verifiable Reward-Model-as-a-Service for Trustworthy LLM Alignment
arXiv

深度剖析

奖励模型的输出被重新定义成一份可跨组织传递的服务凭证,而不只是一个分数:凭证把这次调用绑定到具体请求、已注册的模型权重、验证器实现和数值配置上,下游的审计、结算或治理流程可以据此判断这个分数是否属于它声称的那次服务。 常规奖励模型接口只返回分数,不附带任何把分数与请求、检查点、数值配置和验证器逻辑联系起来的可接受陈述,因此提供方可以换成更便宜的模型、重放旧结果、改动配置,或把看似有效的输出嫁接到错误的上下文上。 在一个隔离“被接受陈述”与证明器规模的对照中,把通用推理证明包装成链上可检查形式的GenericProof+Wrapper基线,在六类服务字段替换后证明仍然有效;对应的VRMaaS检查则全部拒绝。

服务端把Transformer奖励模型的前向计算拆成算术任务和查表任务,逐项生成子证明后聚合成一个复合证明,并把隐藏的权重操作数与已承诺的模型权重连接起来。 这套做法沿用求和校验、查找论证、多项式承诺和Groth16包装等标准密码组件,改变的是被接受的陈述本身:从一条原始推理证明,变成与请求、模型、配置、验证器、任务顺序和导出摘要绑定的奖励服务输出。 在1B、3B、8B三个Skywork奖励模型、128至1024个token的GPU原型上,完整凭证的生成耗时为49.8至206.1秒,审计方验证留存凭证耗时1.94至5.11秒,可选的链上部分证明约消耗217K gas。

启示与展望

演示范围是单节点GPU原型上的Skywork 1B、3B、8B奖励模型、128至1024个token的重复问答比较打分,完整凭证生成49.8至206.1秒、审计验证1.94至5.11秒、链上部分证明约217K gas,面向延迟审计、结算和治理流程;计算证明从规范化的奖励模型输入包中已编码的隐藏状态开始,嵌入查表以及从原始文本推导填充、分段和末位token位置不在已实现的证明范围内。

长上下文下量化漂移使保真度下降,8B/1024设置的平均绝对误差为2.326、P95绝对误差为7.332,被标记为需要更细的数值配置;链上包装只证明所选折叠、部分求和校验、奖励一致性和公开字段相等这几项关系,不推导完整导出,也不递归验证完整复合证明;链下权重绑定仍向审计方暴露逐请求的求值开值;优化后的延迟行每个设置只有一到五次完整运行,多租户调度、缓存失效和检查点轮换尚未验证。