跳到主要内容
检索

# 模型路由

7 篇关联报道

订阅更新
  1. Databricks Blog

    Databricks公开企业AI指数:同一通过率下,每任务成本可差约32倍

    Databricks推出公开的AI指数,把1万多家企业经Unity Gateway产生的匿名用量数据与基于真实代码库任务的编程智能体评测放在一起,按周更新。指数显示企业模型选择正快速分散,开源权重模型在token流量中的份额从7月的7.3%升至11月的30.9%。在编程基准中,GPT-6 Luna与Claude Opus 5.5同为89.1%的任务成功率,但每任务平均成本分别为0.05美元和1.62美元。

  2. arXiv

    ARoute把模型路由改成先判后调:同等成本下15个任务-成本设置平均高出最强基线4.1个百分点

    ARoute把“该不该升级到强模型”和“升级要多花多少钱”都从查询文本本身预测,在调用任何模型之前就决定用哪个模型。它用一小批成对记录训练两个轻量预测头,共享一个冻结的BERT编码器。在MMLU-Pro、LiveCodeBench、SuperGPQA和两个SWAN取值填充任务上,ARoute-Batch在全部15个任务-成本设置中取得最高平均准确率,比最强基线平均高4.1个百分点、最多高11.9个百分点,且批量完成时间最多比级联快2.8倍。

  3. arXiv

    电磁信号多任务不再各训一个专家:GLCR 用两阶段路由,路由准确率 96.16%

    电磁信号处理长期按任务各训一个专家,跨任务难以复用,而电磁基础模型又要付出大规模预训练与共享骨干推理的代价。GLCR 改为在冻结的异构专家池上做路由:先用带加性间隔的一维 CNN 做全局分派,再对易混淆任务对用四个物理统计量做局部复核。在 HeteroSignal-7 基准上,它取得 96.16% 路由准确率和 76.30% 系统得分,均高于全部 19 个基线,单样本路由延迟 1.43 ms。

  4. arXiv

    模型切换不再丢掉前缀缓存:ShadowPrefill借空闲算力预热,切换调用延迟最多降21.4%

    按步路由的智能体每次换模型,目标模型都要重新预填整段上下文,前缀命中率从同模型调用的80–89%跌到44–65%。ShadowPrefill在路由器未选中的模型上,用正常流量实例的空闲容量提前预填会话上下文,让下一次切换直接命中缓存。在24个模型对、五个智能体基准上,切换调用延迟降低8.5–21.4%,路由token成本降低22.5–46.1%,正常流量的SLO不受影响,每请求能耗上升0.4%。

  5. OpenRouter Blog

    OpenRouter 重写 Auto Router 并新增 Auto Code:路由步骤 p90 从 1.96 秒降到 0.65 秒

    OpenRouter 发布新一代 Auto Router,并新增面向编程场景的 Auto Code 路由器。旧版只依赖任务类型等少数不精确信号选模型,新版在一次调用中评估请求的十一项因素,再结合实时价格、供应商健康度和缓存状态决定模型与推理强度。在五项基准上,Auto Code 的得分与 Claude Opus 5.5 相当,而每个任务成本低 74%;实时测试中路由步骤 p90 为 0.65 秒,旧版为 1.96 秒。

  6. arXiv

    Route Anything把路由扩到图像、视频、语音与机器人:学习型路由器在16个基准上比最佳固定候选高0.3分

    通用AI系统正从单一模型转向编排多种专用模型、工具与策略,但路由此前主要只在语言模型上研究。Route Anything构建了覆盖25个基准、452个候选配置、374,401次评分运行的统一轨迹矩阵,并给出质量—成本权衡下的路由理论。在19,814个测试输入上,逐输入oracle比最佳固定候选高5.38分;学习型路由器在16个基准上高0.3分,在视频生成上高2.1分,在机器人操作上高1.1分且策略时间少24%。

  7. arXiv

    图像编辑智能体重试不再盲选模型:RetryRoute按失败历史规划,主预算下成功率平均高出最强基线2.8个百分点

    网页智能体在“评审—重试”循环里调用开放图像编辑模型,而一次失败后的重试成功率只有首次尝试的17%–53%,现有路由器却把重试当作独立抽样。RetryRoute按请求的失败历史估计每个模型下一次尝试的成功概率,在失败状态上规划重试、升级与放弃,并把实时排队等待计入成本。在八个评测组的主预算下,其循环内评审成功率平均高出十一个先前基线中最强者2.8个百分点;在三卡GPU服务测试台上,同一套设置使满足服务目标的编辑比例在每个负载下高出最佳先前基线5.0–6.3个百分点。

已读完全部报道