跳到主要内容
检索

University of Waterloo

12 篇关联报道

订阅更新
  1. arXiv

    情绪视频生成不再靠固定奖励:EmoReward把上一轮训练的经验变成下一轮的权重

    情绪视频生成的质量没有唯一正确答案,固定融合视觉、运动和文本对齐奖励难以表达情绪意图。EmoReward把一次完整训练中收集的奖励轨迹整理成各情绪场景下各评分通道的可靠性,转成有上限的权重乘子,在下一轮训练中与当前视频的实例门控结合,且不更新任何奖励模型参数。在HunyuanVideo 1.5上配合DanceGRPO、FlowGRPO和SAGE-GRPO,VideoAlign Overall在三种算法下均提高,其中SAGE-GRPO配合EmoReward从-0.8269升至-0.2624。

  2. arXiv

    训练检查点不再按位存:用参考权重指数预测位移长度,存储最多省27%

    ULPack把相邻检查点之间的权重位移按有序整数残差编码,并用参考权重的指数预测位移位长,在bfloat16、float16和float32轨迹上比ZipNN最多少占27%存储。

  3. arXiv

    RucTangle让编码智能体生成的补丁拆分为每个提交都可运行的提交历史,并在回归修复中把pass@1平均提升16.6%

    该工作提出RucTangle,一种智能体式提交拆分方法:它按开发目的对补丁中的改动分组并排序,逐个应用提交并检查代码是否仍可运行,失败时先调整顺序、再让智能体重新分组、最后合并相邻提交,同时保持最终代码不变;在131个智能体生成的补丁上,RucTangle是唯一全部重建原补丁且每个提交后代码均可运行的方法,中位数为8个提交,而基线有20.6%–37.4%的历史至少含一个不可运行版本。作者还提出TangleEval,用453个引入回归的补丁让两个编码智能体修复,加入RucTangle历史与git bisect结果后pass@1从26.9%升至31.3%、从30.8%升至36.0%。

  4. arXiv

    Project Greenhouse 用 8 张 H100 从零预训练 3B 模型,微调出在 TREC DL 与 BEIR 上超过同规模开源权重基线、仅次于 GPT-6.1 Sol 的逐点重排器

    Project Greenhouse 提出把大模型训练建模为有向属性超图,并据此定义“完全开放且自主可控”的模型;作为首个里程碑,作者仅用公开数据集,先在 ClimbMix 上从零预训练一个 3.29B 参数的因果语言模型,再用 RLHN-250K 与局部对比估计(LCE)做监督微调,得到逐点重排器 Gaggle(base reranker)。该模型在 TREC DL 2019–2023 与七个 BEIR 集合上的平均 nDCG@10 超过所有对比的微调逐点与列表式重排器,TREC DL 上仅 GPT-6.1 Sol 更高。

  5. arXiv

    序贯重置程序:在LLM水印检测与金融回测中实现与检验期无关的FDR控制

    作者提出基于e值与检验上鞅的序贯重置程序,在每次拒绝后把资本重置为1并继续检验,从而报告多个含违反零假设的区间;进一步提出精化规则,只报告每个拒绝块内资本达到块内最小值之后的观测。在零假设e值相互独立时FDR上界为α,在允许零与非零数据相依时上界为α乘以对数因子且具有任意时刻有效性,并在LLM水印检测与ES回测中验证。

  6. arXiv

    AI Theorist 用第一性原理与多体计算自主构建 α-RuCl₃ 激子模型,解释未发表的光学与光电流观测

    作者提出由 AI 智能体组成的 AI Theorist 系统,通过假设生成、第一性原理计算与证据驱动修正来自主发现物理模型,并将其用于 Kitaev 量子自旋液体候选材料 α-RuCl₃,对光学与光电流观测给出新解释,识别出具有不同光学选择定则和实空间分布的不同激子态。

  7. arXiv

    CSIR 规划框架让机器人在信息不全时也能找到目标人物,优于纯距离图基线而纯语义搜索失稳

    该工作针对 Person Goal Navigation(PersonNav)问题,提出一个将接收者的距离信息与语义信息(习惯与意图)按用户提供信息的可信度加权结合的规划框架,并构建包含角色、物品与请求的合成场景基准,用于在真实部署前模拟自然语言人机交互;结果显示这种知情搜索优于经典基于距离的图基线,而仅用语义会导致无根据、零散的搜索,基于 LLM 的变体表现相当,硬件测试表明该方法可支持真实环境中的实体机器人。

  8. arXiv

    Clean 用 Nyström 草图把二阶优化器内存降到线性,单张 80GB GPU 可预训练 13B 模型

    作者提出 Clean 与低精度变体 Q-Clean:用随机 Nyström 方法近似 SOAP 的左右预条件子,把优化器状态内存从随层维度二次增长降为线性,并把低秩核心之外的 Main、A、B、C 四个正交块重新整合进更新;在 C4 上预训练 LLaMA-350M 与 1.3B 时,Clean 困惑度接近 SOAP 而优化器内存小于 AdamW,Q-Clean 相比 Muon 减少超过 50% 优化器内存,Clean 达到 AdamW 最终性能的墙钟时间快 26%,并首次使 13B 模型可在单张 80GB H100 上预训练。

  9. arXiv

    X-Tree 把轨迹中的可复用技能挖成树,在 WebArena、ScienceWorld、WebShop 上以同等数据与预算把成功率最多提高 4.5%、5.8% 和 4.1%

    该工作提出 X-Tree:先用规范化把每个动作变成 typed token(如 type⟨date⟩、click⟨button⟩),再用 X-Score(按复现频率、跨度长度、出现在成功回合中的比例打分)递归合并相邻动作对,从轨迹池中确定性地挖出一棵可复用经验树,全程零 LLM 调用;随后把 X-Tree 接入三种训练方式——离线 RL(每个节点作为一个训练实例,用步匹配奖励加深度缩放完成奖励)、在线 RLVR(自适应技能奖励,验证器信号稀缺时给分、变密时退火)、以及 on-policy 自蒸馏(把 X-Tree 渲染成自教师的特权上下文,替代 LLM 编写的技能库);在 WebArena、ScienceWorld、WebSho

  10. arXiv

    SCOPD 用稀疏上下文在线自蒸馏把 10% 视觉 token 下的 VLM 性能从 86.37% 提升到 92.43%

    该工作通过固定上下文的 Pass@K 分析发现视觉 token 剪枝后的性能下降并非全是信息丢失,而是模型未能可靠利用残留证据(表征—利用差距),并提出 SCOPD 与 SCOPD+ 两种稀疏上下文在线自蒸馏方法,在 10% 视觉 token 保留率下把 13 个基准的归一化平均性能从 Vanilla 的 86.37% 提升到 90.49% 和 92.43%,且不改变架构、不增加推理开销、不需要真实答案。