共享LoRA可能藏起训练概念:SCOPE先免渲染搜提示词,再渲染少量候选,平均差异降到0.114
核心概要
共享的LoRA适配器可能不披露它真正训练出的概念,而平台审核长期依赖上传者填写的描述和触发词。SCOPE把概念发现写成寻找一条提示词:先只用LoRA权重的主输入子空间做免渲染的进化搜索,再对少量候选同时渲染LoRA与基座模型做配对比较。在SD1.5与SDXL的164个适配器基准上,其平均目标概念差异为0.114,低于同一无概念输入设置下最强的VisDiff(0.383)。
深度剖析
审核方拿到一个LoRA适配器时,现在可以不给概念名、触发词或参考图,直接搜出一条能引出其主导隐藏概念的提示词。 此前的做法要么只找出LoRA相对基座模型改动了什么,却分不清哪一处改动代表创作者的主训练目标;要么只能验证事先指定的概念。 在覆盖真实身份、合成身份、动漫角色与艺术风格的基准上,SCOPE的平均目标概念差异为0.114,同一无概念输入设置下最强的VisDiff为0.383,降低70.2%;即使PEZ额外拿到目标概念图像,也只到0.183。
搜索分两步:先在参数空间里筛出与LoRA更新最匹配的候选词和短语,再只对这些候选做图像渲染与配对判别。 直接在整个提示词空间上优化目标不可行,因为判断输出是否连贯、是否区别于基座模型都要反复渲染扩散图像。 免渲染阶段用LoRA更新的前两个右奇异方向衡量词与子空间的对齐,进化搜索以48个提示词的种群跑100代、重复三次;配对阶段用相同随机种子分别渲染LoRA与基座模型,先剔除连贯性不如基座模型的候选,再按跨提示词共识与LoRA诱导差异度排序。
启示与展望
评估对象是SD1.5与SDXL上单独加载的U-Net架构LoRA,审核方对适配器及其兼容基座模型有白盒访问权限;当前实现只在文本条件站点上搜索短的英文ASCII词元。结果不覆盖DiT生成器、合并或量化适配器、黑盒访问,也不覆盖多语言或非词汇载体。
该形式化只寻找一个主导隐藏概念,而非穷举清单;含多个强度相当概念的适配器可能需要重复或更广的发现。评估使用CLIP表示和单一均值参考方向,特异性验证每个适配器只配一个受控非目标概念,自适应研究只测试一种固定的子空间分散训练方案。
