跳到主要内容
返回时间线
arXiv来源发表:

相似度不再只有一把尺:BASIS用弱反馈推断当前该用哪条准则,六次探测把概念恢复成功率从56.0%提到68.1%

核心概要

语言模型在测试时反复用相似度挑选示例、候选和改写稿,但词面、语义、结构、风格等相似度会指向不同候选,且当前该用哪一条会随实例变化。BASIS把“选哪个候选”和“按哪条准则判断”放在同一个贝叶斯后验里,用标量分数、成对偏好或验证器输出更新,并按期望信息增益挑选下一次探测。在概念恢复任务上,六次探测后Success@1为68.1%,调好的静态混合为56.0%;推理准确率73.1%对72.3%,改写胜率63.8%对61.4%,增益在准则错配和候选池扩大时最大。

Source-provided article image: Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback
arXiv

深度剖析

测试时的候选选择现在可以同时推断“哪个候选有用”和“当前实例按哪条相似度准则判断”,而不必事先固定一条打分规则。 此前的做法是固定一个嵌入或一组在开发集上调好的混合权重,再在同一打分规则下做检索或重排;当实例相关的准则发生切换时,共享权重无法同时满足两个实例的排序。 在500个回合、50个候选、最多12次探测的受控概念恢复任务中,六次探测后BASIS的Success@1为68.1%,调好的静态混合为56.0%,直接使用真实准则的oracle上界为79.5%。

方法在测试时不需要训练,只用一个冻结的编码器为每条候选准则算出条件相似度,再让后验在候选与准则的联合空间上收敛。 准则库是事先给定的有限菜单,涵盖语义、词面、实体、结构、风格和答案一致性;每条准则对应一个投影或轻量打分器,静态混合、oracle诊断和BASIS共用同一批准则分数,区别只在权重是固定、已知还是在线推断。 推理示例选择在GSM8K、StrategyQA和三项BIG-Bench Hard任务上取等权宏平均,BASIS为73.1%,调好的静态混合为72.3%;改写任务在HH、OpenAssistant和UltraFeedback各1000条提示上,胜率为63.8%对61.4%。

下一次探测由期望信息增益挑选,也就是选那个最能让候选与准则的联合不确定性下降的候选或候选对。 标量分数用高斯似然、成对偏好用Bradley–Terry模型、验证器输出用逻辑模型更新后验;不做主动探测时,推理和改写分别降到72.0%和62.4%。 在候选池为64、256、1024、4096和10000的缓存分数基准上,后验更新每轮从0.07毫秒增至5.68毫秒,而探测选择每轮稳定在110至117毫秒;10000个候选时仍保留全池的精确后验边缘化。

启示与展望

评估覆盖受控概念恢复、GSM8K/StrategyQA/三项BIG-Bench Hard上的推理示例选择,以及HH、OpenAssistant、UltraFeedback上的回复改写,全部使用一套冻结检索器Qwen3-Embedding-4B、生成器Qwen3-8B(关闭思考)和验证器Ministral-3-14B-Reasoning;推理结果只描述这一匹配设置,不与默认开启思考的基准分数直接比较。

方法只在给定的准则库内选择,不发现新准则;准则缺失或损坏时后验可能偏向错误解释,作者给出的回退策略把低拟合情形路由到调好的静态混合,但无法证明准则库完整。多数反馈来自离线验证器或评分规则,实时人类反馈与偏好漂移尚未测试,跨模型与跨服务系统的泛化也仍待验证。