跳到主要内容
检索

# 激活引导

23 篇关联报道

订阅更新
  1. arXiv

    少步扩散模型丢的不是方差而是方向:ReDiverse在单个中间块把多样性找回来

    把扩散模型蒸馏成四步学生后,同一提示下不同随机种子生成的图像和视频几乎一样。ReDiverse通过逐块比较师生激活发现,学生的总激活方差并未减少,只是被压缩到远少于教师的方向上,且集中发生在初始去噪步的一个中间块。据此,ReDiverse-FT在该块用LoRA把学生首步激活回归到教师激活,ReDiverse-TF则沿教师主方向扰动激活,两者在SDXL、SD3、Wan 2.1和MiniMax-H3四对师生模型上恢复多样性并基本保持生成质量。

  2. bioRxiv

    蛋白质语言模型引导不再取全局均值:PULSE按相似背景配对,毒性预测分数提升最大

    蛋白质语言模型可以在不改权重的情况下被引导生成特定性质的序列,但既有激活引导把性质阳性与阴性蛋白的全局均值之差当作引导方向,忽略了这一方向会随序列背景变化。PULSE改为先按表示相似度把阳性与阴性蛋白配对,再聚合相似度加权、单位归一化的配对差来构造引导向量。在溶解度、免疫原性和毒性三个优化目标上,PULSE的最终预测性质分数与优化成功率都高于全局质心引导,其中毒性分数提升最大、免疫原性成功率提升最大。

  3. arXiv

    CANS 给每个前馈神经元单独定缩放系数:安全、毒性与幻觉三类控制同时保住通用能力

    大模型的行为控制常以牺牲通用能力为代价,CANS 把干预改成给每个前馈网络神经元分配一个缩放系数,系数同时计入该神经元对目标行为的贡献和它对通用输出的扰动。目标行为用模型回复中目标词元的对数概率作代理,能力保持用通用文本上的输出分布 KL 散度作代理,两者局部近似后得到闭式解,无需迭代训练,也不增加推理时计算。在 Qwen3-4B 与 Llama 系列上,CANS 在安全、毒性和幻觉控制中取得与 SFT、CAA 及神经元级基线相当或更好的转向效果,同时更好地保住 MMLU、BBH 和 IFEval 表现。

  4. arXiv

    激活引导该插在哪一层:TopoSteer用位移点云的连通长度排序,免去留出集试跑

    激活引导在推理时向大模型内部表示加一个向量,但插在哪一层长期靠试:已有选择器只看两类激活是否可分、单条位移是否与均值同向,从不真正引导模型验证。TopoSteer改为给每层算一个分数,即该层逐样本位移点云的欧氏最小生成树总长,用连通长度衡量均值差向量能否代表这些位移。在五个指令微调模型、六个二元人格引导任务上,它在多数模型—层预算组合中优于LayerNavigator,但优势随模型和层预算变化,Qwen-7B与Qwen-32B上更小且更混杂。

  5. arXiv

    稀疏自编码器引导改用信息论设计:DESSIRT在Llama与Gemma多数提问模式上胜过对比式基线

    稀疏自编码器(SAE)引导此前多靠对比激活统计挑选特征,而特征可解释性与引导效用并不必然一致。DESSIRT把每个数据集表示为SAE特征点火概率向量,用Jensen–Shannon散度衡量干预后分布与目标分布的偏离,并据此解析地构造引导向量。在七类提问模式生成任务中,Llama 3.1-8B-Instruct上DESSIRT-2在除M2外的模式上优于SDCV基线,Gemma-2-9B-IT上多数模式也更好。

  6. arXiv

    扩散语言模型不再用固定向量纠错:把上一步预测当反馈,TruthfulQA 多选题均值从 30.89 升到 45.42

    TraceSteer 把扩散语言模型上一步的预测当作反馈,逐步调整激活干预的方向和强度,在 LLaDA-8B-Instruct 与 Dream-7B-Instruct 上提升了 TruthfulQA 的事实可靠性。

  7. Ai2 Blog

    公平不只看最终选择:同一句劝说,模型放弃正确候选的概率相差最多42个百分点

    Ai2发布FairStress,把大模型的人口公平性评估从“最终选了谁”扩展到“被劝说后是否改选”。300个双候选决策场景覆盖29个领域,叠加身份呈现方式与成对对抗前缀后扩展为1300多万个测试用例;在15个模型上,隐含身份时放弃正确答案的平均差距为6.9个百分点,显式标签时为9.3个百分点。

  8. arXiv

    大模型推理时不再改权重:按每个问题调神经元,3B到32B七个模型全部涨分

    大模型推理时不必再靠预设的固定干预:Q-NeuS按每个问题自身的内部激活决定放大哪些前馈神经元,在3B到32B的七个模型和三个基准上全部涨分。

  9. arXiv

    故事还没写,事件类型已可解码:四个开源模型能提前四个事件,但只有下一个事件胜过纯文本预测

    四个24–32B开源模型在事件结束时,隐藏状态能解码至少四个后续事件的状态变化类型,但只有下一个事件显著优于纯文本预测;在OLMo上沿该方向持续干预可双向改变后续事件构成。

  10. 主题模型不再只给词表:改用大模型激活方向,短文本与抽象诗歌上更贴题

    主题模型的主题表示从词表换成稀疏自编码器学到的可解释激活方向,在八个数据集上主题评审更常偏好这种表示,短文本与抽象诗歌上优势最大。