跳到主要内容
检索

Cornell University

19 篇关联报道

订阅更新
  1. arXiv

    低比特推理不再二选一:StrataFlux 从内存层级补精度,2比特权重困惑度从9.46降到8.40

    康奈尔与卡内基梅隆团队提出 StrataFlux,把低比特权重和 KV 缓存留在 GPU 上,只按当前计算需要从主机内存或固态盘取回少量精化比特,从而在保留量化内存与速度优势的同时补回精度。在 RTX 5090 上,2 比特 Llama-3.1-8B-Instruct 权重的 WikiText-2 困惑度从 9.46 降到 8.40,并保持量化基座 95.4% 的吞吐;2 比特权重加 2 比特 KV 时,Qwen3-8B 的 AIME 2024/2025 准确率从 11.0% 升到 47.1%,GPU 显存占用不变。

  2. arXiv

    Titan-Llama给预训练模型外挂神经记忆:冻结主干,长文问答准确率从23.87%升到40.51%

    Titan-Llama把预训练Llama-3.2-1B-Instruct前四层改成块状注意力,并在每个KV头上外挂一个固定大小的神经记忆模块,用测试时训练把历史键值压进模块,主干参数保持冻结。在QuALITY上,相比仅用分段注意力窗口,准确率从23.87%升到40.51%;在LongHealth上从14.50%升到40.75%。评测配置下,中等上下文长度预填充快20%以上、解码快37%,稳态解码显存低24%。

  3. arXiv

    雅可比透镜为何偏爱慢变特征:理论把它的选择写成三个相干性因子,并在玩具模型上预测排序

    雅可比透镜(J-lens,一种把模型隐状态解码成词的可解释性工具)此前被用来寻找类似工作记忆的线性方向,但没人说清它究竟按什么标准挑方向。这项工作给出一个数学理论:透镜优先选出在层间增长、在词位置上平滑、在不同上下文中一致的方向,也就是相干性高的李雅普诺夫模式。在贝叶斯滤波器和一个两层玩具 Transformer 上,调节任务参数改变相干性,透镜选出的潜在状态排序随之按预测改变。

  4. DiFVM把非结构网格有限体积求解器搬上GPU:单卡快过32核OpenFOAM,还能端到端求梯度

    DiFVM把非结构多面体网格上的完整有限体积/PISO求解流程改写成静态图上的向量化散射与聚集运算,在JAX/XLA上实现GPU原生执行和端到端自动微分。此前可微CFD平台多依赖笛卡尔或结构化网格,难以直接处理贴体复杂几何。在单个NVIDIA L40 GPU上,DiFVM在所有测试算例中都快于32核并行OpenFOAM,最大算例约106个控制体;可微性则通过反演空腔盖板速度和同时推断六个Windkessel参数得到演示。

  5. arXiv

    训练日志里有、上线时拿不到:运行时混杂下的策略学习有了双重稳健估计与可检验的代价

    部署时拿不到某些关键变量、而训练日志里却完整记录,这种“运行时混杂”会让强化学习策略在时间上逐步偏离。新工作把运行时限制只放进重要性比值的分子,用全量数据估计干扰函数,给出渐近正态且达到半参数效率界的离策略估计,以及相对全信息最优只差一个不可约运行时差距的策略学习遗憾界,并提供一个检验该差距的样本分割方法。

  6. 大模型部署后也能继续学:睡眠式离线巩固让新知识写进参数,旧能力不倒退

    大语言模型部署后知识停在固定截止日期,继续用新数据更新参数又会严重遗忘旧任务,只靠上下文学习则信息随会话结束而丢失。Google Research提出的睡眠框架让模型在主动交互与离线巩固之间交替,离线阶段打开预先分配的专家记忆块,用自生成练习样本更新权重。在满语、卡拉芒语等未见语言的连续翻译中,多阶段评估的性能下降接近零,而上下文学习、Cartridges和监督微调出现严重遗忘。

  7. Nature Biotechnology

    单细胞多组学速度模型学会扰动:在Arid1a缺失B细胞里点名三个可救靶点,小鼠验证全部奏效

    DynaVelo把单细胞多组学中的RNA表达与转录因子基序可及性放进同一个神经微分方程,学出可被干预的速度场,而不只是画轨迹。在野生型小鼠生发中心B细胞上,它复现暗区增殖、向亮区转换与再循环的分支;在Arid1a杂合缺失细胞上,它提名Ctcf、Stat3和Bcl6为挽救靶点,三种双杂合小鼠的暗区表型均被拉回。

  8. Nature

    棕色脂肪不只护心:10万人队列里连焦虑抑郁也更少,AI把活性量化到腋窝

    在10万123名癌症中心患者中,有棕色脂肪的人心血管与精神类疾病更少;研究用机器学习从约8700人的PET–CT半自动量化棕色脂肪活性,发现活性越高,2型糖尿病与冠心病等风险越低,腋窝脂肪库关联最强,并据此找到氯沙坦可在小鼠中提升产热。

  9. arXiv

    语言模型自己挑复习题:合并两个任务库,留出保留率比单个库最多高4.42个百分点

    语言模型微调新任务时会遗忘旧能力,而用于保护的旧数据只覆盖模型所知的一部分。研究者把可复习的任务描述与示例组织成任务库,让冻结的更新前模型自己生成复习数据,并在四个未参与构造的留出任务上检验保护是否外溢。合并两个部分任务库后,三个测试规模的平均留出保留率都高于任一单个库,最多高出4.42个百分点;在4B规模上,结合新任务信息挑选复习目标比随机挑选高2.75个百分点,更小的模型没有这一优势。

  10. arXiv

    Cleave 用符号化解耦把代数变换与算子调度分开,在 LLM 子图上生成比最佳基线快 2.8 倍的融合内核

    Cleave 是一个基于符号化解耦的 ML 编译器:它在符号形状图上做超优化发现代数等价变换,再在具体形状上对每个结果图做调度,通过迭代分块与水平融合来融合含多个归约的图;在常见 LLM 子图上生成的内核比最佳基线快至多 2.8 倍(平均 1.6 倍),编译时间比 Mirage 平均减少 5.9 倍。