跳到主要内容
检索

University of Hong Kong

34 篇关联报道

订阅更新
  1. arXiv

    MoE 服务每步重分专家副本:Relief 用整数松弛逼近每步最优,片上引擎把有效利用率提到 99.5%

    专家并行 MoE 服务中,每层都要等负载最重的 GPU 收工,而路由每个解码步都在变。Relief 不再求解每步的线性规划,改用整数双向成对松弛,在副本边上反复折半搬运负载,几轮就逼近每步最优。在三个开源 MoE 家族的解码路由上,按相对每步最优的有效利用率计,部署的静态方案为 66% 到 72%,GPU 内核升到 93%,片上引擎升到 99.5%,最大一处比静态放置多回收 37.3 个百分点。

  2. arXiv

    跨层TopK把稀疏预算交给模型分配:同等激活数下重建误差低于逐层TopK,训练每步快2.9倍

    跨层转码器(CLT)要把大模型各层激活拆成可解释特征,但每层重建难度差别很大,逐层TopK给每层固定激活数并不合适。字节跳动Seed等提出的Cross-Layer TopK把全部层的潜在特征放在一起排序,每个token只保留总量固定的K个,由模型自己决定各层分多少。在Qwen3-8B-Base上,它与逐层TopK同为每token 360个激活,验证集FVU从27.64%降到27.07%,并配合稀疏解码把训练步时间缩短到原来的约三分之一。

  3. arXiv

    养老金账户禁卖空禁借贷:重参数化神经网络把对偶间隙压到2.87%

    缴费确定型养老金成员在现金、两只名义债券、通胀挂钩债券和股指构成的两因子市场中投资,还可在退休前购买定期寿险,交易被限制在非空闭凸约束集内。做法是构造一族无约束人工市场,用重参数化神经网络求对偶上界,再用嵌套蒙特卡洛与哈密顿二次规划恢复可行下界。两种风险厌恶设定下相对对偶间隙均低于SAMS与深度定价核基准,其中一处为2.87%。

  4. arXiv

    长程智能体的信用该记在回合上:MPO把回合级优势与逐词修正分开,搜索任务pass@1最高提升4.33点

    长程LLM智能体按完整回合与环境交互,却逐词生成动作,现有强化学习要么给整条轨迹一个共享优势,要么把每个词当作动作。MPO把信用分配拆成两层:回合级广义优势估计在交互之间传递信用,回合内再做保均值的局部修正,策略更新则用完整回合的重要性比率。在搜索、工具使用和自动化任务上,Qwen3-4B-Thinking与Qwen3-30B-A3B-Instruct两个规模下,MPO在九个指标上均取得表中最高分,其中4B的BrowseComp-Plus pass@1比最强非MPO基线高4.33点。

  5. arXiv

    香港大学等发布Compass 1导航基础模型:单目RGB视频训练,开放世界成功率79.4%对17.8%

    香港大学、上海创智学院、Archon Robotics等机构发布具身导航基础模型Compass 1,只用单目RGB视频训练,在统一的理解与生成骨干上加入稀疏关键帧和一张显式的历史表示地图,使智能体能回溯近两分钟的视觉历史。在办公室、露台、复杂户外和行人密集街道四类场景、八项任务的零样本实机评测中,Compass 1总体成功率为79.4%,最强基线AwareVLN为17.8%;持续历史回溯任务上基线为0%,Compass 1为58%。

  6. arXiv

    注意力也按 token 选参数:NESTOR 把专家路由嵌进列路由,同算力下预训练损失更低

    混合专家(MoE)Transformer 只在多层感知机上做条件计算,每个 token 仍要经过全部注意力参数。NESTOR 把同样的路由思路搬到注意力上:每个 token 先被分到若干“列”,每列有自己的注意力和专家,两层稀疏按层级嵌套。在 100M 到 1B 活跃参数的语言模型预训练中,达到相同留出损失时 MoE 需要 1.13–1.29 倍算力,稠密模型需要 3.1–4.1 倍,且这一倍数随规模增大没有缩小趋势。

  7. bioRxiv

    BLOOM把稀疏发育图谱变成可查询的虚拟胚胎:三个小鼠图谱上基因与细胞相关性均排第一

    BLOOM把转录组虚拟胚胎建模写成条件生成问题:给定一段已观测的细胞群体历史、目标发育阶段和细胞状态信息,生成该阶段的表达分布。它用伪轨迹连接独立采样的细胞群体,并把发育年龄、细胞身份层级、解剖背景、基因程序和转录因子–靶标网络作为条件,同时约束高斯基分布与流匹配生成器。在产前、视觉皮层和多器官内皮三个小鼠单细胞图谱上,与22个时间序列预测基线相比,BLOOM在三个数据集的阶段平均基因相关性和细胞相关性上都排第一。

  8. medRxiv

    结直肠癌术后复发不再只看病理指标:空间宿主-微生物图谱把预测AUC从0.45拉到0.81

    结直肠癌术后是否复发,此前主要靠淋巴血管侵犯、神经侵犯、肿瘤出芽和Ki-67等常规病理指标判断。AlphaFISH把无需测序的纳米探针生物芯片与Transformer模型结合,在149例结直肠活检样本上同时读取41个宿主转录本和51个细菌属,并在术后一年随访的28例患者中以AUC 0.81预测复发或转移,而常规临床指标组合的AUC为0.45。该结果来自未经同行评审的预印本,样本规模有限。

  9. researchsquare.com

    智能体训练不再只看最终成败:STEP-VERIFIER用日志里的前缀分叉给每一步打分

    工具调用型语言模型智能体往往要经过几十步交互才拿到一个成功或失败的最终标签,中间哪一步出错无从区分。STEP-VERIFIER把已记录的成功标注交互日志转成动作级比较:同一前缀下两条后续轨迹的平均最终回报之差,构成一对动作的优劣标签,再由Bradley-Terry排序头转成可校准的逐步分数。在Llama-3.1-8B-Instruct与Mistral-7B-Instruct两个骨干上,它在GAIA、ToolBench、AgentBoard的六组基准—骨干组合中平均指标均高于仅用最终分数的GRPO,且逐步分数与人工判断的一致率为81.5%。

  10. researchsquare.com

    曼尼普尔文手写识别不再逐字切分:整词读入,合成测试词错误率1.57%

    曼尼普尔文(Meitei Mayek)手写识别此前只做单字分类,而最常见的混淆恰恰取决于字符在词中的位置。研究者用孤立字符库合成整词训练数据,配合卷积编码器、双向LSTM与CTC直接读整词图像,在5000个合成测试词上取得0.24%的字符错误率和1.57%的词错误率;在一位母语书写者用平板写的100个未见真实词上,字符错误率为2.96%、词错误率为16.0%。