跳到主要内容
检索

University of California, Berkeley

31 篇关联报道

订阅更新
  1. arXiv

    训练数据也能批量造出意外副作用:Transluce 自动搜出 6,575 个数据集,多数跨模型复现

    Transluce 与伯克利的研究者把“带意外副作用的训练数据集”从手工个例变成可批量搜索的对象:给定一个目标行为,用进化搜索、强化学习和两种潜隐学习改写方法生成候选数据,再用未参与搜索的模型评审筛选,最终得到覆盖 8 种行为的 6,575 个数据集。这些数据读起来像普通后训练数据,却能让微调后的模型表现出目标行为;在 64 个数据集上,机器学习研究者预测副作用的准确率为 63%,随机猜测为 50%。

  2. arXiv

    Route Anything把路由扩到图像、视频、语音与机器人:学习型路由器在16个基准上比最佳固定候选高0.3分

    通用AI系统正从单一模型转向编排多种专用模型、工具与策略,但路由此前主要只在语言模型上研究。Route Anything构建了覆盖25个基准、452个候选配置、374,401次评分运行的统一轨迹矩阵,并给出质量—成本权衡下的路由理论。在19,814个测试输入上,逐输入oracle比最佳固定候选高5.38分;学习型路由器在16个基准上高0.3分,在视频生成上高2.1分,在机器人操作上高1.1分且策略时间少24%。

  3. arXiv

    攻防不再各打各的:CyberArena让智能体同场互攻互守,12个前沿模型分出高下

    CyberArena把网络安全评测从静态靶标改成多轮攻防对抗:两个智能体在隔离沙箱里同时攻击对方服务并修补自己的服务,目标每轮轮换。在40个挑战、466局比赛中,12个前沿模型里GPT-5.6 Sol与Claude Opus 5领先,而三个模型单独都能解出的30个挑战进入对抗后,第三轮捕获率分别降到52%、37%和35%。

  4. arXiv

    网页智能体不再边看边决定:Baya先编译成程序再执行,注入攻击成功率降到0%

    网页智能体通常按ReAct方式边读页面边选下一步动作,页面里混入的不可信内容因此能改写它的控制流。Baya把用户请求先编译成调用可信网站API的Python程序,规划模型不接触实时网页内容,只有程序在执行时读取数据。在581个WebArena Verified任务上,Baya聚合效用为77.8%,高于仅浏览器ReAct的55.1%和可用API的ReAct的66.7%;在WASP上攻击成功率为0%,两个ReAct基线分别为16.2%和25.5%。

  5. arXiv

    肝脏CT诊断改按征象组合:训练中没见过的病种也能检出并勾出病灶位置

    肝脏CT诊断模型通常直接从图像预测疾病标签,因此只能识别训练中出现过的病种。DbC把诊断拆成两步:先学习一组放射学征象在扫描上的分布图,再按指南把疾病定义为若干必需征象的组合,用无参数的软最小值算子合成诊断图。在多期肝脏CT上,对训练中完全未见过的六种疾病,DbC的病灶定位显著优于包括图像—疾病名对齐模型在内的全部对照,并在另一机构的罕见病和公开外部队列上保持优势。

  6. arXiv

    单元测试奖励教模型多改代码:PreciseCoder把平均改动从7–15行压到3行,通过率不降

    只用单元测试做强化学习,模型通过率上去了,却学会多改代码、甚至在本来正确的程序里编造缺陷。PreciseCoder在单元测试奖励之外加入一项按参考修复逐处核验的编辑精确率与召回率信号,在4B、9B、27B模型上把平均改动行数从7–15行降到3行,通过率与只用单元测试训练持平,并让正确代码上的不改动率升到47–52%。

  7. arXiv

    注意力也按 token 选参数:NESTOR 把专家路由嵌进列路由,同算力下预训练损失更低

    混合专家(MoE)Transformer 只在多层感知机上做条件计算,每个 token 仍要经过全部注意力参数。NESTOR 把同样的路由思路搬到注意力上:每个 token 先被分到若干“列”,每列有自己的注意力和专家,两层稀疏按层级嵌套。在 100M 到 1B 活跃参数的语言模型预训练中,达到相同留出损失时 MoE 需要 1.13–1.29 倍算力,稠密模型需要 3.1–4.1 倍,且这一倍数随规模增大没有缩小趋势。

  8. Nature Communications

    无序蛋白不再只靠重加权:扩散模型一次生成全原子构象,NMR与SAXS同时对上

    IDPForge把ESMFold的注意力与结构模块改造成扩散生成模型,直接从序列生成全原子无序蛋白与无序区构象,无需逐序列训练、粗粒化回映射或系综重加权。在32条带NMR/SAXS数据的测试序列上,其归一化X-EISD总分0.89,高于IDPConformerGenerator的0.57、IDPFold的0.58与CALVADOS的0.58;它还能在折叠结构模板上只对无序区去噪。

  9. arXiv

    指令层级训练漏掉一类冲突:补上目标对目标样本,Qwen3.5-9B抗冲突率升34.3点

    现有指令层级训练集只覆盖约束与约束、约束与目标的冲突,缺少两个目标彼此冲突的类型。把任务拆成目标与约束后,用两条互相处理对方消息的文本处理指令构造出9,544对目标对目标偏好样本,并以直接偏好优化微调Qwen3.5-9B与Gemma4-12B-it。在训练中未出现的四套指令层级基准上,两模型平均抗冲突率分别提高34.3点和19.4点,八项基准上的平均效用变化很小。

  10. arXiv

    推理不再挡在动作前面:动作专家不看当前推理,成功率不降、延迟最多低3.4倍

    推理型视觉-语言-动作模型此前每次动作都要等自回归解码完推理文本,生成推理占单次调用延迟的53%到70%。TacitVLA把动作专家对当前推理token的注意力遮掉,只保留推理监督对主干表征的训练作用,在记忆任务上把每条记忆条目改到动作执行期间生成。在RoboMME、RMBench、LIBERO与PhysicalAI-AV四个基准上,它与显式推理版本性能相当,延迟最多低3.4倍,并与无推理版本延迟相同而成功率最多高17.1%。