跳到主要内容
检索

Stony Brook University

7 篇关联报道

订阅更新
  1. arXiv

    智能体记忆不再只回望过去:Pro-Memory把未来意图与触发时机分开管理

    面向大语言模型智能体的记忆系统大多只保存和检索过去的信息,而主动型智能体还需要记住尚未实现的未来意图,并在合适时机自行兑现。Pro-Memory把“保留未来意图”和“决定何时以及如何兑现”拆成两步:让待办目标与其支撑证据绑定,用新观察对照原始目标和激活条件,再与智能体正在进行的动作协调。在两个覆盖延迟意图任务和开放式主动协助的基准上,多种大语言模型骨干上的主动任务表现相对代表性记忆方法有一致提升,同时减少了不必要的干预。

  2. arXiv

    MASA 把稀疏注意力选择改为矩阵近似,在三种稀疏框架上以零额外预算提升长上下文准确率

    作者指出稀疏注意力现有选择规则只保留注意力矩阵中数值大或质量高的条目,而 Transformer 实际是通过矩阵乘法使用该矩阵,因此提出 MASA:用矩阵乘积近似误差的闭式分数替换原有的注意力质量排序,在不改变稀疏核、候选单元与预算的前提下接入 MInference、SeerAttention、FlexPrefill 三种框架,在 RULER、InfiniteBench、LongBench 上取得一致的准确率提升且延迟开销可忽略。

  3. arXiv

    判决前残差流激活可预测LLM评判者的位置翻转,AUROC达.621–.850并跨基准迁移至.685–.853

    该研究在534个JudgeBench配对与1802个MT-Bench比较上,用嵌套分组交叉验证训练L2正则化线性探针,读取判决前残差流激活来预测LLM评判者因候选顺序交换而改变所选回答身份的位置翻转;四个评判者的AUROC为.621–.850,优于包含口头置信度、判决logit、长度差与初始选择的组合基线.062–.113,且冻结迁移到MT-Bench后AUROC为.685–.853。

  4. arXiv

    安全对齐但植入后门的教师模型经在策略蒸馏把后门传给干净学生:3%投毒率下触发攻击成功率最高约70%

    该工作研究在策略蒸馏(OPD)用于安全对齐时是否会传播后门:作者用bi-GRPO构造安全对齐但含后门的教师模型,通过OPD训练原本干净的学生,发现仅3%投毒率即可使触发攻击成功率最高约70%,且增加训练轮数(10个投毒样本、16轮后达67%)与使用top-K KL都会加速后门迁移,并提出通过裁剪KL奖励的Lazy Defense来延缓这一过程。

  5. arXiv

    HyperGuide 用双曲空间中的虚拟 token 引导 LLM 单轨迹推理,在竞赛数学与代码生成上以更少 token 达到或超过搜索与验证器基线

    HyperGuide 将推理视为在双曲空间(Poincaré 球)中嵌入的状态树上的移动,先训练状态编码器、再训练引导头预测从当前状态出发的最小代价转移方向,并把该方向作为虚拟 token 在每个推理步骤后插入解码器,使推理沿单条自回归轨迹进行而无需扩展或重排候选;在竞赛数学与代码生成实验中,其准确率与搜索式和验证器式基线相当或更高,同时生成的 token 显著少于这些基线,与少样本提示大致相当。

  6. arXiv

    快手团队提出DARA:按奖励活跃密度加权,工具调用格式达标最多省26%训练步数、数学长度合规最多省65%

    该工作用“优势能量”刻画多奖励强化学习中各奖励对策略更新的贡献,证明在理想化GDPO归一化下某奖励的优势能量正比于其活跃组密度(批次中该奖励产生非零相对优势的 rollout 组比例),据此提出按密度反平方根加权的DARA,在工具调用与数学推理任务上比GDPO更快达到目标行为——工具调用格式合规最多少用26%训练步数,数学推理长度合规接近饱和最多少用65%步数,最终性能保持竞争力。

  7. arXiv

    面向耦合语义例程生成的LLM上下文动态适配

    该工作提出“动态上下文适配”:一个由验证智能体从执行轨迹中提取结构化诊断反馈、生成智能体每轮提出多个候选、并以知识图谱提供语义约束、以模拟退火进行非贪心选择的验证—生成循环,用于缓解其称为“静态绑定”的LLM代码生成局限;在八个问题中,该方法在300与600次评估时于七个问题上优于零样本、Reflexion与OpenEvolve(p<0.01),在1000次评估时于主要动机问题(跨耦合优化)取得最佳分数(0.694 对 0.681,p=0.019,d=0.52),消融显示结构化执行反馈是主要驱动因素。

已读完全部报道