SynMOE把语法标签送进专家路由:LoRA与IA3在代码任务上稳定提升,可训练参数约1.90%
核心概要
参数高效微调在代码任务上通常落后于全量微调,原因之一是它只依赖低秩或稀疏假设,没有显式建模代码结构。SynMOE先从抽象语法树取出每个叶节点的语法标签,再把标签对齐到代码语言模型的输入词元,并让这些标签参与混合专家门控网络的路由决策。在代码搜索、代码克隆检测和行级代码补全三项任务、五个代码模型上,SynMOE 与 LoRA、IA3 结合后均取得提升,最大提升 8.78%,并以约 1.90% 与 0.41% 的可训练参数达到与全量微调相当或更好的效果。
深度剖析
代码语言模型的参数高效微调多了一条显式的语法通道:每个输入词元携带来自抽象语法树的语法标签,标签参与混合专家的路由,而不只是靠注意力隐式区分词元角色。 此前的参数高效微调建立在参数更新低秩或稀疏的假设上,对代码相关信息没有显式建模,因此在代码智能任务上普遍低于全量微调。 在代码搜索、代码克隆检测和行级代码补全三项任务、五个代码模型上,SynMOE 与 LoRA、IA3 结合后相对对应基线均有一致提升,最大提升 8.78%,且除 Deepseek-Coder 上 SynMOE+IA3 一项外,其余 15 项指标比较均通过显著性检验。
做法分两步:先把源码解析成抽象语法树并给每个叶节点打上语法标签,再让标签影响一组轻量专家的加权组合。 标签与语言模型的分词结果并不天然对应,特殊词元、子词切分和注释都会造成错位,因此需要一个从左到右的双指针对齐过程,把叶节点标签传播到对应的输入词元。 对齐后的标签被编码成高维向量,与门控网络的打分按超参数 λ 混合后决定各专家的权重;实验中专家数统一设为 4,并降低 LoRA 专家的秩以控制相对单模块的可训练参数增量。
语法信息不是直接加到词元嵌入上,而是通过门控网络影响专家选择,避免覆盖代码词元原有的上下文表示。 直接相加语法标签嵌入是一种更简单的整合方式,但标签可能压过代码词元本身的表示。 消融实验显示,去掉语法信息提取或把混合专家退化为单专家都会带来性能下降,其中退化单专家的损失更大,说明路由机制本身承担了关键作用。
启示与展望
验证范围限于代码搜索、代码克隆检测和行级代码补全三项任务,基础模型为 CodeBERT、UniXcoder、CodeGPT、Deepseek-Coder 与 Qwen2.5-Coder,最大约 15 亿参数;效率对比以 CodeGPT 在行级代码补全上的每轮训练时长与内存占用为测量对象。
代码翻译与程序修复等任务未纳入评测,更大规模模型上的表现尚未考察;超参数 λ 的影响呈非单调,不同基础模型与不同参数高效微调方法的最优取值并不一致,接近 1.0 时性能明显下降。
