不训练也能做决策:冻结的Qwen3.5-4B在JevBench公开题上拿到81.4%,追平同底座免训练读数
核心概要
微软团队提出LLM-as-Jev,让现成的因果语言模型不改架构、不加分类头,直接对候选选项输出概率分布。冻结的Qwen3.5-4B在JevBench的231道公开题上取得81.4%,与同底座免训练的SemIf(80.5%)持平或略高,并高于微调过的reflex 4B(79.7%)。微调只在0.6B小模型和高基数路由等特定场景带来明显收益,配合KL锚点可避免生成行为退化。
深度剖析
通用大模型本身就能当决策模型用,不必先做任务专用训练:把候选选项列进提示,模型对每个选项的续写概率归一化后就是一份类别分布。 此前的社区Jev式模型要么给底座加分类头或保留词元并逐底座重训,要么只读单个选项字母的logits,选项数被限制在16或26个以内。 在同一Qwen3.5-4B底座上,免训练的LLM-as-Jev在JevBench公开题上得81.4%,SemIf为80.5%,微调过的reflex 4B为79.7%;外部基准宏平均比SemIf高3.2个百分点,胜负为313胜154负。
做法是在助手回合预填固定前缀,让每个选项对应一段以右括号结尾的编号后缀,所有后缀共享一次提示预填充后并行打分。 逐选项单独打分需要与选项数成正比的多次前向,而编号后缀互不为前缀,选项数不再受字母表大小限制。 在77类的Banking77上免训练取得69.0%;Qwen这类逐位分词器下候选树深度不超过⌊log10 K⌋+2,150个以上候选也只需一次预填充加1到3步短前向。
启示与展望
结论的演示范围是Qwen3.5-4B与Qwen3-0.6B两个底座,评测覆盖JevBench的231道公开题、七个外部分类与推理数据集、通用语言任务、MMBench与MMStar多模态题以及Dolly-15k和MT-Bench的对话行为检查;JevBench的封闭划分不在其中。
作者把JevBench上的评估视为探索性,因为后续数据迭代是由公开JevBench样本的错误分析驱动的,不过JevBench被排除在超参数调优和检查点选择之外。免训练4B的延迟在单张RTX A5500上中位数为194毫秒,参考实现用FP32且未做速度优化,作者称延迟优化不在工作范围内。
