跳到主要内容
返回时间线
arXiv来源发表:

多模型集成不再只靠单轮投票:Re-Present只重问分歧题,7–9B集成平均准确率从80.31%升到81.51%

核心概要

异构大模型集成里,即使某个成员答对了,单轮聚合也常常挑不出这个答案。Re-Present把单轮对数线性池化当作基线,只对成员分歧较大的选择题追加两种候选空间视图——保留前两名候选的top-two视图和颠倒选项顺序的reversed视图——再把新得到的候选级概率与原始证据直接合并。在七个选择题基准、两个五模型集成上,平均准确率从80.31%升到81.51%(7–9B)和从86.67%升到87.46%(14–32B),且额外token开销低于同触发条件的自洽性采样。

Source-provided article image: RE-PRESENT: Evidence Triangulation across Alternative Candidate-Space Views for Efficient LLM Ensemble Inference
arXiv

深度剖析

多模型集成推理多了一条不训练路由器的路线:对成员意见不一致的选择题换一种候选呈现方式再问一遍,把新证据并入最终预测。 在七个选择题基准上,无参数的对数线性池化在评估过的单轮路由与排序方法中平均准确率最高,7–9B集成达到80.31%,14–32B集成达到86.67%。 同一批基准上,只要任一成员答对就算对的oracle上限分别为92.93%和95.40%,说明集成里常存在正确答案,而单轮聚合没能把它取出来。

做法分两步:先让五个模型各自作答并按候选概率做对数线性池化,只有最大一致组不超过三个成员时才进入第二步。 第二步对每道分歧题独立构造两种视图,top-two视图只保留得分最高的两个候选并保持原有相对顺序,reversed视图保留全部候选但颠倒呈现顺序并重新标号。 各模型在两种视图下独立作答,看不到其他模型或自己此前的答案;新得到的候选级分布映射回原候选身份后,与原始预测按一个在独立训练划分上选定的权重合并,两个集成都选到同一权重。

两种视图提供的是互补而非重复的证据,合并后准确率高于任一单视图。 只用reversed视图时,7–9B与14–32B集成平均准确率分别为81.19%和87.09%;只用top-two视图时为80.91%和87.16%。 两种视图同时使用时达到81.51%和87.46%,两种视图的错误指示之间只有中等程度相关。

启示与展望

演示范围限于七个选择题问答基准(MedQA、MedMCQA、MMLU、ARC-C、OpenBookQA、MathQA、HeadQA)和两个各含五个模型的异构集成,每个基准1000道测试题;方法依赖候选级概率和可重排的选项,作者把向开放式任务扩展列为未来方向。

预测稳定性与正确性相关但并不保证正确,作者明确提醒稳定预测不应在没有专家监督时用于高风险决策,尤其是医疗场景;分歧触发阈值是启发式选择,作者说明该分析支持这一启发式,但未证明它相对其他基于置信度或学习得到的触发策略是最优的。