跳到主要内容
返回时间线
arXiv来源发表:

ARoute把模型路由改成先判后调:同等成本下15个任务-成本设置平均高出最强基线4.1个百分点

核心概要

ARoute把“该不该升级到强模型”和“升级要多花多少钱”都从查询文本本身预测,在调用任何模型之前就决定用哪个模型。它用一小批成对记录训练两个轻量预测头,共享一个冻结的BERT编码器。在MMLU-Pro、LiveCodeBench、SuperGPQA和两个SWAN取值填充任务上,ARoute-Batch在全部15个任务-成本设置中取得最高平均准确率,比最强基线平均高4.1个百分点、最多高11.9个百分点,且批量完成时间最多比级联快2.8倍。

Source-provided article image: ARoute: Task-Aligned Batch and Streaming Model Routing
arXiv

深度剖析

模型路由现在可以在生成答案之前完成:路由器只看查询文本,就决定这一条请求交给弱模型还是强模型,不必先跑一遍弱模型再判断要不要升级。 此前的级联方案(如FrugalGPT、BARGAIN)要先让弱模型回答每一条请求,再根据这个答案决定是否升级,因此每条请求都多一次弱调用和一段串行等待;预训练路由器(如RouteLLM)虽然不跑弱模型,但其打分来自通用偏好数据,并不针对具体任务的正确性标准。 在MMLU-Pro、LiveCodeBench、SuperGPQA和两个SWAN取值填充任务上,把50条成对记录的成本计入总开销后,ARoute-Batch在30%、50%、70%三档成本共15个任务-成本设置中平均准确率全部最高,比最强基线平均高4.1个百分点、最多高11.9个百分点。

路由的关键信号是“只有强模型答对”的那部分查询,以及升级这条查询要多花多少钱,两者都从查询文本预测。 此前没有路由器能在查询粒度上同时估计这两项:RouteLLM的打分与“只有强模型答对”这一结果关联很弱,且把每次调用当作同一单位成本;OctoSelector虽然按任务拟合,但只在查询簇的粒度上估计,同一簇内的查询得到相同判断。 每条查询用冻结的BERT编码一次,一个线性头预测“只有强模型答对”的概率,一个小网络预测两个模型各自的生成成本,两者相除得到优先级;在五个任务上,这个线性头的AUROC为0.58–0.69,而RouteLLM的预训练打分为0.45–0.61。

流式场景下,ARoute-Stream用一小批验证记录选出一个成本阈值,并对期望归一化开销给出有限样本保证。 此前的保证针对的是准确率或级联的每条查询成本,而不是生成前路由器的期望归一化开销。 在70%配额、每个路由器200次验证抽样下,只执行一次KL检验的固定规则超出配额的比例不超过1%、超出幅度不超过0.2个百分点;按每50条查询重新选阈值的节奏规则平均用掉配额与目标相差0.6个百分点以内,超出配额的比例为2–7%。

启示与展望

评估覆盖Llama-3.1-8B-Instruct与GPT-5这一对模型、五个任务(MMLU-Pro、LiveCodeBench、SuperGPQA以及两个SWAN取值填充任务),批处理结果在30%、50%、70%三档全强模型成本下报告,流式结果在同样三档归一化成本配额下回放。每条查询的正确性与成本独立计分,错误在算子计划或智能体轨迹中如何传播不在讨论范围内。

流式保证只覆盖一次性选定后保持固定的阈值,不涉及准确率、美元开销或单批实际花费;按每50条查询重新选阈值的节奏规则是启发式,超出配额的比例是实际观测频率而非定理所界的误认证概率。节奏规则计算每条已路由查询的归一化成本时,需要未发生的那次调用的价格,缓存回放可以读到,在线系统读不到。在两个SWAN任务上,GPT-5的成本变化较小,成本网络带来的增益很小甚至为负,完整打分比只用质量头最多低2.6个百分点。