检索增强模型答得流畅却难溯源:先检索隐含问题,教科书依从率平均提高34%
核心概要
检索增强生成(RAG)让大模型依据教科书作答,但生成的解释常混入检索文本之外的先验知识,难以逐句回溯来源。一项在90个Stack Overflow问题、三本编程教科书上的评测显示,普通RAG的中位来源依从率只有22%–40%,不检索的模型为0%。作者提出链式言外行为提示(CoI):先从教科书抽取隐含解释性问题,为每个提问检索少量相关问题及其证据,再生成解释;多数模型依从率显著提升,平均提高34%,但绝对水平仍属中等。
深度剖析
检索增强的大模型解释在来源依从率上仍偏低,即使提示要求逐句引用教科书,模型也常补充检索片段中没有的内容。 不检索的模型中位来源依从率为0%,标准RAG管线也只达到22%–40%,按模型分别为GPT-4o 22.2%、Llama 3-70B 33.3%、Llama 3-8B 33.3%、Mistral 23.6%、Mixtral 29.3%、GPT-3.5-turbo 40%。 评测覆盖六个模型、三本编程教科书(Java、Python、Pharo)对应的90个Stack Overflow热门问题,依从率按子句与教科书子句的嵌入相似度不低于0.7判定。
把解释需要回答的隐含问题也纳入检索,可以让生成内容更多落在教科书证据上。 链式言外行为提示(CoI)先用Mistral从教科书段落抽取隐含问答,每个提问检索25个候选问题,再按证据支持筛到5个,连同原文问题一起送入生成。 多数模型上依从率提升统计显著,幅度从GPT-4o的+8.1%(p=0.180,不显著)到Llama 3-8B的+63.7%(p<0.001);平均依从率提高34.08%,语义相似度只提高5.1%。
依从率提升没有以用户观感为代价。 用户研究比较RAG与RAG+CoI,未发现满意度、相关性或感知正确性出现显著下降。 通过Prolific招募220人,过滤后保留165人,参与者对GPT-4o与GPT-3.5-turbo两种模型下的三种系统解释按0–10打分。
启示与展望
评测限定在编程教育场景:三本开放获取教科书(Java、Python、Pharo)与对应的90个Stack Overflow热门问题,六个模型分属GPT、Llama 3和Mistral家族。来源依从被操作化为对单一权威文本的可追溯性,不覆盖完整性、简洁性或教学有用性等其他解释质量维度。
即使加入CoI,最好的中位依从率也只有约0.55,若干模型仍在0.33到0.46之间;GPT-4o的依从率提升(p=0.180)与Mixtral在依从率和语义相似度上的提升(p=0.282)不显著。作者指出大模型更倾向依赖先验知识,小模型更严格遵循提示但更易受检索错误影响;隐含问题集合只是对特定学习者需求的近似。
