跳到主要内容
检索

Columbia University

19 篇关联报道

订阅更新
  1. arXiv

    JAX-WAVE把逆波设计变成一次前向预测:5毫秒内误差比FISTA低45%

    在非均匀介质中,要让波场在指定时刻呈现给定形状,需要反推初始压力分布,而此前每个目标、每种介质都要重新做一次数值反演。JAX-WAVE 训练一个共享神经网络,直接由目标终端场和已知波速图预测有界初始压力,训练信号来自可微的时域有限差分解算器,不需要预先优化好的控制标签。在独立的确认集上,三个训练模型对未见介质分别取得几何目标 25.24%、可达目标 4.77% 的误差;在 5 毫秒中位在线预算下,该映射把非均匀基准上的平均误差相对加速数值反演降低 45%。

  2. arXiv

    7B模型压到五分之一:DictLLM用共享字典加稀疏系数,困惑度只涨2.9点

    大模型上手机的主要瓶颈是权重占用的内存,而不是计算。DictLLM把分组层内的权重矩阵拆成一份共享字典和每层各自的稀疏系数,全部从预训练模型直接算出,不需要重新训练。在LLaMA-7B上,它把模型压缩5.1倍,WikiText-2困惑度只上升2.9点,压缩比约为当时最优低秩方法的3.6倍。

  3. arXiv

    扩散语言模型也能向自回归老师学:JustOPD让Dream-7B在任意顺序解码下提升数学推理

    自回归模型与扩散语言模型的生成顺序不同,前者严格从左到右,后者可任意顺序去噪,使前者的逐词监督难以直接用于后者。JustOPD在训练时强制扩散学生按从左到右的顺序生成轨迹,让Qwen3-14B老师能在每个中间状态上给出监督,推理时学生仍保留任意顺序解码。以Dream-7B为学生、Qwen3-14B为老师在GSM8K和MATH500上测试,多种散度下成绩均高于基座模型。

  4. arXiv

    MLP线性化改用低次有理逼近:Qwen3-8B替换最后八个前馈层,参数少14%而吞吐更高

    多层感知机的线性化不再只靠多项式随机特征,而是用低次有理函数逼近激活函数,再借部分分式把每层拆成权重侧与输入侧可分离的内积。在合成拟合、视觉、三维与语言模型上,这一路线在同等特征预算下取得更低误差;压缩Qwen3-8B时替换最后八个前馈层可移除1.17B参数(占模型14%),解码吞吐从763.3升至809.6 token/s,推理与知识基准与未压缩模型大致持平。

  5. 主题模型不再只给词表:改用大模型激活方向,短文本与抽象诗歌上更贴题

    主题模型的主题表示从词表换成稀疏自编码器学到的可解释激活方向,在八个数据集上主题评审更常偏好这种表示,短文本与抽象诗歌上优势最大。

  6. arXiv

    RELACE用原始与结果条件双情境似然比对动作打分,在ALFWorld与WebShop上取得所比较方法中最高的平均成功率

    RELACE是一个无需评论家的框架,用冻结行为策略对已执行动作在原始情境与结果增强情境下做教师强制似然打分,将两者长度归一化得分之比在轨迹内归一化并裁剪后重加权折扣回报,再在状态匹配组内构造局部优势,与GRPO轨迹级优势结合;在ALFWorld与WebShop上使用Qwen2.5-1.5B-Instruct与Qwen2.5-7B-Instruct,其报告的平均聚合指标高于GRPO、GiGPO、HCAPO与GraphGPO等基线。

  7. arXiv

    SteerScope 评测套件:23 种方法中无一在效能—副作用权衡上超越 Prompt Steering 基线

    作者提出 SteerScope,一个以 15 项指标、两条轴(Steering Outcomes 与 Method Properties)组织的 LLM 激活引导评测套件,在 Gemma-2-2B-it 与 Gemma-2-9B-it 上以匹配的模型、任务与评测协议基准测试了 23 种方法(含 prompting、LoRA、SFT 基线);结果显示没有任何激活引导方法在获得更高目标效能的同时不带来更大的复合副作用,因而在效能—副作用权衡上均未超越 Prompt Steering 基线,且引导效能与副作用随干预强度同步上升。

  8. arXiv

    EmbodiedRSI 用假设图与信息价值实验选择让冻结 VLA 在 RoboCasa365 达 77.0%、LIBERO-Pro 达 86.8%,并零样本迁移真机达 71.3%

    EmbodiedRSI 是一个自演化智能体框架,在冻结机器人基础模型之外,用假设图维护代码与技能假设,用信息价值实验选择挑出最能区分假设的物理实验,并以代码—技能协同演化与奖励驱动的分层记忆学习把每次物理交互转化为可复用改进;在 RoboCasa365 上总体成功率 77.0%、Composite-Unseen 71.3%(最佳基线 40.1%),LIBERO-Pro 总体 86.8%,并将仿真中演化的框架零样本迁移到真机,总体成功率 71.3%。

  9. arXiv

    ENPO 用对抗式策略探索消除迭代 NLHF 对逆 KL 正则参数的指数依赖,并在 Llama-3-8B-Instruct 上稳定超过所评估的 RLHF 与 NLHF 基线

    该工作研究在线迭代式纳什人类反馈学习(NLHF),指出探索是关键障碍:标准迭代 NLHF 的遗憾可能随逆 KL 正则参数呈指数增长,说明仅靠策略更新带来的隐式探索并不充分;为此提出 ENPO,将 SFT 型正则化与对抗式策略探索结合,在不依赖极小极大 oracle 或显式偏好模型估计的前提下消除该指数依赖,并进一步给出使用额外 oracle 达到 O(log T) 遗憾的 BENPO,以及面向大模型微调的实用变体 DENPO;在 Llama-3-8B-Instruct 上,DENPO 在多个基准上相对所评估的 RLHF 与 NLHF 基线取得一致提升。

  10. arXiv

    固定参数的通用 Transformer 通过输入嵌入模拟同类任意模型,并在括号匹配与多跳推理任务上得到验证

    作者提出“通用 Transformer”:内部参数全部固定,仅通过合适的输入嵌入编码目标模型描述,即可模拟给定类别中的任意 Transformer;他们给出嵌入维度足够大时的显式稀疏构造,证明随机初始化的 Transformer 几乎必然具有通用性,并在括号匹配与多跳推理任务上做了实证验证,提示 Transformer 的表达能力可能很大程度存在于输入表示而非学习到的权重中。