跳到主要内容
检索

Hong Kong University of Science and Technology

39 篇关联报道

订阅更新
  1. arXiv

    LENS 不再只给交互打分:换一份独立数据复现,才决定哪些特征对进入模型

    特征交互的排序分数高,可能只是模型拟合了噪声,而排序方法把截断点留给使用者。LENS 用同一学习算法在互不重叠的数据上训练两个模型,只通过预测访问它们:先按去掉主效应后的交互强度排序,再检验第二个模型是否以足够强度复现该模式,并用一次多重检验校正决定保留哪些特征对。在 F1–F10 基准上,LENS 配合 XGBoost 找回 91% 的实质交互,DIAMOND 为 45%,且未选出假对。

  2. arXiv

    MoE 服务每步重分专家副本:Relief 用整数松弛逼近每步最优,片上引擎把有效利用率提到 99.5%

    专家并行 MoE 服务中,每层都要等负载最重的 GPU 收工,而路由每个解码步都在变。Relief 不再求解每步的线性规划,改用整数双向成对松弛,在副本边上反复折半搬运负载,几轮就逼近每步最优。在三个开源 MoE 家族的解码路由上,按相对每步最优的有效利用率计,部署的静态方案为 66% 到 72%,GPU 内核升到 93%,片上引擎升到 99.5%,最大一处比静态放置多回收 37.3 个百分点。

  3. arXiv

    情绪视频生成不再靠固定奖励:EmoReward把上一轮训练的经验变成下一轮的权重

    情绪视频生成的质量没有唯一正确答案,固定融合视觉、运动和文本对齐奖励难以表达情绪意图。EmoReward把一次完整训练中收集的奖励轨迹整理成各情绪场景下各评分通道的可靠性,转成有上限的权重乘子,在下一轮训练中与当前视频的实例门控结合,且不更新任何奖励模型参数。在HunyuanVideo 1.5上配合DanceGRPO、FlowGRPO和SAGE-GRPO,VideoAlign Overall在三种算法下均提高,其中SAGE-GRPO配合EmoReward从-0.8269升至-0.2624。

  4. arXiv

    离线RLVR不再逐token全监督:GIST按对错分层选数据,同池对比胜过七个选择器

    离线强化学习可验证奖励训练通常对固定采样池中每条回答的每个token都施加监督,但回答与token的信息量并不相同。GIST把策略与KL正则化RLVR的Gibbs最优目标之间的双向KL失配拆成前向与反向两项,据此在回答层用采样温度配对正确与错误样本,在token层只监督正确回答的低概率token和错误回答的高概率token。在Qwen3-0.6B/GSM8K的同候选池对照中,它监督的token比训练全部候选少66.6%,严格准确率45.79、灵活准确率49.73,均高于七个选择基线。

  5. arXiv

    Möbius把去噪搬进语言模型:不靠运动VAE,HumanML3D生成与描述同时领先

    Möbius把运动生成中的整个去噪过程放进与运动理解共用的多模态表示空间,干净运动、带噪运动和文本一起参与共享注意力,不再依赖离散分词器或预训练运动VAE。在HumanML3D上,0.6B版本在文本到运动生成和运动描述两项任务上均优于扩散模型、语言模型及统一运动-语言基线;扩展到1.7B参数、1700小时运动数据后,各运动-语言任务进一步提升。

  6. arXiv

    EvoGuard给在线技能演化加一道筛选:ALFWorld平均成功率56.5%,高于全盘接受的45.5%

    语言智能体可以把经验写成自然语言技能文档,但部署后每完成一个任务就按单条轨迹重写技能,会让技能质量漂移。EvoGuard把每次更新变成一次二选一:离线用私有测试集给技能打效用标签,用拒绝采样保留效用差距明显的技能对,训练一个只读两个标签词logit的选择器;部署时一次前向传播即可决定新旧技能谁留下。在ALFWorld上,Qwen3-4B与Qwen3-8B执行器的平均成功率为56.5%,全盘接受重写为45.5%,无技能为36.7%。

  7. arXiv

    Route Anything把路由扩到图像、视频、语音与机器人:学习型路由器在16个基准上比最佳固定候选高0.3分

    通用AI系统正从单一模型转向编排多种专用模型、工具与策略,但路由此前主要只在语言模型上研究。Route Anything构建了覆盖25个基准、452个候选配置、374,401次评分运行的统一轨迹矩阵,并给出质量—成本权衡下的路由理论。在19,814个测试输入上,逐输入oracle比最佳固定候选高5.38分;学习型路由器在16个基准上高0.3分,在视频生成上高2.1分,在机器人操作上高1.1分且策略时间少24%。

  8. arXiv

    掩码扩散模型在预算内提前锁定答案:HiLo-RD 用大窗口轨迹自蒸馏,GSM8K 准确率升 9.4 个百分点

    掩码扩散语言模型在小响应窗口下会在推理尚未完成时先固定答案片段,这一提前承诺随后成为后续预测的上下文。HiLo-RD 让同一模型的大窗口轨迹充当冻结教师,把其隐藏表示对齐到裁剪后的小窗口视图,在已提交位置上做表示蒸馏。在相同小推理预算下,GSM8K 准确率从 68.84% 升到 78.24%,平均可读长度从 362.8 降到 271.3 个 token,增益还延伸到未做代码域训练的代码生成。

  9. arXiv

    化学图里的反应不再靠人工转录:RxnMiner把立体感知反应F1从21.0%提到71.0%

    化学文献中的反应图常把多个实验画在同一张模板、取代基表和产物网格里,要还原成一条条具体反应记录,此前主要靠人工转录。RxnMiner把专家提取流程与化学工具箱组合成一个多模态智能体,先识别结构、再把证据绑定到每个实验条目、最后由确定性的R基团引擎实例化未画出的反应物。在603张反应图、8547条人工标注记录的ChemRxn-Bench上,以Qwen3.8-Flash-Next为骨干,其立体感知反应宏F1达到71.0%,直接预测为21.0%,最强现有提取系统为25.0%。

  10. arXiv

    VA-TDM把四步生成的监督换成速度场对抗:33B音视频模型上对多步教师的偏好率升到45.53%

    少步扩散蒸馏长期依赖学生分数估计,而中间步骤的分数难以准确跟踪,估计出的分布可能与更新学生所用的分布不一致。VA-TDM把监督对象换成由学生采样过程构造的速度场,用学习到的评论器比较学生与教师速度场并把分歧转化为生成器反馈,同时统一了分数蒸馏、Fisher匹配与矩匹配。在SD3.5-Medium四步生成上,GenEval从TDM的0.61升到0.67;在33B的MiniMax-H3上,同预算4-NFE下人类偏好对比中胜Fast-H3的比例为61.33%,对100-NFE教师的偏好率为45.53%,Fast-H3为24.67%。