跳到主要内容
检索

Yonsei University

15 篇关联报道

订阅更新
  1. arXiv

    扩散语言模型引导不再多跑一遍前向:GCG只改注意力头特征,LLaDA-8B的Ruler从26.2升到29.5

    扩散语言模型靠迭代去噪并行生成文本,但已有引导方法要额外构造一个弱模型,每个去噪步多一次前向,推理成本翻倍。GCG先分析发现这类模型在去噪时更依赖局部上下文、常低估远处证据,于是直接在特征空间放大负责全局上下文的注意力头输出,不建弱模型。在LLaDA-8B、Dream-7B和LLaDA-1.5上,GCG在多个基准上优于U-CFG和A-CFG,且LLaDA-8B的FLOPs与未引导基线相同。

  2. arXiv

    近分布外检测不再另起炉灶:PLUS给18个现成检测器补上类内子空间信号,126个组合全部提升

    近分布外(near-OOD)样本与训练类在特征上高度相似,现有事后检测器擅长远分布外却在此处失效。PLUS不替换检测器,而是用稀疏自编码器为每个类别挑出最活跃神经元、张成低维子空间,再以该类别的白化马氏距离给出补充分数,按单一固定权重与任意已校准基础分数相加。在ImageNet-1K的OpenOOD v1.5基准上,18个检测器与7种骨干的全部126个组合近分布外AUROC均提升,远分布外大体保持,仅在基础分数已接近饱和处出现不超过1个点的回落。

  3. researchsquare.com

    递归量子优化不再每步等量采样:强化学习按步调预算,加权Max-Cut总采样降36%

    递归QAOA每消去一个变量都要重新测量,采样总量随递归层数累积,而各步难度并不相同。研究把深度1递归QAOA的逐步采样量当作序贯决策问题,用基于局部难度指标的启发式规则给出基线,再让表格型Double Q学习智能体在拉格朗日约束下学习对基线的残差修正,消去规则保持不变。在固定每步预算上限的公平协议下,留出操作子集130对策略—实例上,启发式相对均匀分配减少约23%总采样,强化学习策略减少36.1%,有效每次成功采样比为0.676,并在训练未见的规模上保持约36.6%的降幅。

  4. arXiv

    约束全过不等于答对了:给验证器奖励加一条似然区间,答题质量不再被训练吃掉

    可验证指令遵循基准只检查输出约束是否满足,不检查回答是否真正回应请求,前沿模型因此能在几乎不答题的情况下拿满分。把同一验证器当作强化学习奖励,公开的 OLMo 3 检查点出现约束满足率升高而回答质量下降的奖励劫持。CaLIF 用冻结参考策略在请求下与请求加约束下的两个似然值划出一条区间,在区间内给固定奖励、区间外清零,在 1.7B 到 8B 的五种配置上把 IFBench 约束满足率从 26.98 提到 34.64,同时把回答质量维持在 4.59。

  5. arXiv

    一步生成不再被小批量比例拖偏:把硬性边缘约束换成软惩罚,CIFAR-10 的 FID 从 8.10 降到 4.51

    UW-Flow 把 W-Flow 的平衡 Sinkhorn 能量换成去偏非平衡 Sinkhorn 散度,在有限小批量下降低速度场误差,并在 MNIST、CIFAR-10 与 ImageNet-100 的匹配训练预算下改善生成质量。

  6. bioRxiv

    头颈癌pEMT评分被拆成两半:恶性臂随西妥昔单抗长期无进展,基质臂不随

    头颈鳞癌的partial EMT(部分上皮–间质转化)基因表在单细胞里由恶性细胞和成纤维细胞共同表达,但既往只在整块肿瘤上打分。把100个基因按表达细胞拆成恶性臂与基质臂后,整块肿瘤的共表达由基质臂主导,标准pEMT评分主要测的是基质;用单细胞伪块训练的分类器和12基因恶性核心可在任意整块转录组中恢复恶性臂。在40例接受铂类加西妥昔单抗的患者中,两项恶性指标在无进展生存期长者中更高(曲线下面积0.78与0.82),基质核心则不然,但恶性臂与Basal亚型无法区分,后者判别更好(0.93)。

  7. arXiv

    网页不再分搜索与浏览器两套接口:统一对象表示让智能体六项基准全胜且更省

    面向网页任务的 AI 智能体此前要在搜索接口、浏览器操作和文件系统三种访问方式之间切换,各自擅长信息收集或页面交互,组合起来则成本上升或性能下降。Web$hell 把网页编译成带地址的信息对象与动作对象,用统一操作完成检索、读取与执行,并在六个覆盖网页搜索、网页导航和深度研究的基准上取得最高任务表现,同时轮次与推理成本更低。

  8. arXiv

    MPAD用2D扩散加多平面自回归实现3D多对比度MRI合成,训练FLOPs降7倍、推理降3倍

    作者提出MPAD:先用3D自编码器把MRI体积压成各向同性隐表示,再用2D扩散模型重建被掩码的目标对比度隐切片,并以源对比度切片、未掩码目标切片和文本模态提示为条件;推理时按平面自回归生成,把已合成体积作为正交平面的先验,从而仅用2D操作完成全容积3D合成,相比3D隐扩散基线训练FLOPs降7倍、推理FLOPs降3倍,并在ADNI与IXI上取得更优的PSNR、SSIM与NMSE。

  9. arXiv

    Ctrl-CWM 用世界模型想象未来规划人群:在多数人群真实感与碰撞指标上超过 CrowdES,并在仿真中实现避让与吸引的运行时控制

    作者提出 Ctrl-CWM,一个多智能体可控人群世界模型:先在真实行人视频上通过轨迹预测学习并冻结编码器以保留人体运动动力学,再用 actor 提出位移、critic 对想象人群轨迹排序、规划器结合 critic 分数与用户代价选择动作,从而在无需重训练的情况下实现人群生成与运行时控制;在 ETH–UCY、SDD、GCS 上,它在多数人群真实感与碰撞指标上优于 CrowdES,并在避让与吸引场景中取得最高平均合规度。

  10. arXiv

    LADE 用首 token 概率分布中的暗知识提取跨模型安全信号,在多个越狱攻击下降低攻击成功率并保持安全—可用性平衡

    该工作提出 LADE,一种仅依赖首 token 输出概率分布的模型无关防御框架:通过对比有害与良性查询,从暗知识中选出概率差异最大的 token 作为潜在安全信号,经分词器映射对齐到目标模型,再用 kNN 距离在生成前过滤有害查询;在 Llama-2-7B-Chat、Llama-3-8B-Instruct、Qwen2-7B-Instruct、Qwen3-8B、Gemma-7B-it、Mistral-7B-Instruct-v0.3 等模型上,LADE 在多种越狱攻击下取得最低或接近最低的平均合规率,并在八个模型中的六个上取得最佳安全—可用性平均表现。