跳到主要内容
检索

# 代码智能

1 篇关联报道

订阅更新
  1. arXiv

    SynMOE把语法标签送进专家路由:LoRA与IA3在代码任务上稳定提升,可训练参数约1.90%

    参数高效微调在代码任务上通常落后于全量微调,原因之一是它只依赖低秩或稀疏假设,没有显式建模代码结构。SynMOE先从抽象语法树取出每个叶节点的语法标签,再把标签对齐到代码语言模型的输入词元,并让这些标签参与混合专家门控网络的路由决策。在代码搜索、代码克隆检测和行级代码补全三项任务、五个代码模型上,SynMOE 与 LoRA、IA3 结合后均取得提升,最大提升 8.78%,并以约 1.90% 与 0.41% 的可训练参数达到与全量微调相当或更好的效果。

已读完全部报道