跳到主要内容
检索

# 情景式预训练

1 篇关联报道

订阅更新
  1. arXiv

    RouteFM 用一次预训练把 LLM 路由变成可复用能力,在未见过的多模态基准 MMR-Bench 上以每个候选仅八条观测领先最强基线 2.23 质量分

    该工作提出 RouteFM,把大语言模型路由从针对单一查询分布与候选池的“局部拟合”改写为“预训练一次、随处路由”的基础模型范式:通过跨异构路由环境的片段式预训练学习一种可复用的、以目标查询为条件的候选比较能力,候选模型仅以匿名行为证据(历史查询嵌入、观测质量、归一化相对成本)表示,不暴露模型名称或身份嵌入;推理时路由器保持冻结,仅靠上下文即可适配新领域、新模态、新候选池与更小的上下文预算,在排除于预训练之外的 MMR-Bench 上以每个候选八条观测超过最强非 RouteFM 基线 2.23 质量分。

已读完全部报道