农业问答不再只靠拼接检索文本:Agri-MRAG把证据写进LoRA适配器,ROUGE-L最高46.58
核心概要
农业视觉问答需要同时看懂作物症状和调用病理知识,而通用多模态大模型常把外观相似的病害混淆。Agri-MRAG把检索到的图文证据先按语义一致性聚类、只保留高置信子集,再把证据编码成LoRA适配器注入模型前馈层,并用困惑度决定是否追加显式检索上下文。在PlantVillageVQA与自建的PlantVQA上,它的ROUGE-L分别为41.21和46.58,比mRAG高11.70和4.51分,比VisRAG高8.80和3.39分。
深度剖析
农业视觉问答的检索增强不再把检索到的图文证据一律拼进提示词,而是先筛出语义一致的证据子集,再以参数形式并入模型。 此前的mRAG与VisRAG只做提示词层面的文本拼接,检索数量固定,长或嘈杂的上下文会分散注意力。 在PlantVillageVQA上,Agri-MRAG的ROUGE-L为41.21,比mRAG的29.51高11.70分,比VisRAG的32.41高8.80分;在PlantVQA上为46.58,分别比两者高4.51和3.39分。
检索到的农业知识被编码成低秩适配器,在推理时动态拼接后注入多模态大模型的前馈网络层,使外部知识以参数而非文本形式影响生成。 该方法把原本只用于纯文本的P-RAG式参数化知识融合扩展到图文多模态场景,每个知识样本对应一个独立适配器。 实验以Qwen3-VL-2B为基座,LoRA秩为2、缩放因子为32,在PlantVillageVQA与PlantVQA上评测;消融中在聚类模块之上加入适配器后,PlantVillageVQA的ROUGE-L从34.93升到38.88。
困惑度引导的路由按模型自身的不确定性决定是否追加显式检索上下文,让有把握的查询只走参数化推理。 不加路由时,简单问题也会被迫携带冗长的显式上下文,复杂问题又可能缺少细粒度证据。 在Top-K为10时,Agri-MRAG的上下文长度为71.71个token/样本,而mRAG与VisRAG均超过172个token/样本;消融中再加入PPL路由后,PlantVillageVQA的ROUGE-L从38.88升到40.75。
启示与展望
评测覆盖公开的PlantVillageVQA(实验使用其中154,977条训练问答与随机抽取的4,000条测试问答)和自建的PlantVQA(7,514张图像、15,028条专家核验问答,测试集2,990条),面向枣、香梨、苹果、柑橘、葡萄等作物的病虫害识别。BLEU、ROUGE-L和METEOR衡量的是与参考答案的文本一致性,而非诊断正确性本身;更完整的诊断正确性评估需要专家评审,作者将其列为后续方向。
聚类数、Top-K与困惑度阈值均未使用独立验证集,而是在当前数据集的测试集上比较确定的;作者指出迁移到其他数据集时应改用独立验证集选择。案例中仍有失败样本源于细粒度视觉定位与判别偏差,且困惑度路由未能识别这类感知错误。适配器存储开销不可忽略:全量训练下PlantVillageVQA的154,977个适配器占801 GB,PlantVQA的12,038个占63 GB;仅保留高频样本构建适配器的实验尚未开展。
