跳到主要内容
返回时间线
openbiox Bizard来源发表:

MemT-1.0把记忆做进模型计算:128K历史下持久状态存储约为全上下文KV缓存的1/66

核心概要

MemTensor 团队发布记忆基础模型 MemT-1.0,把持久且动态演化的记忆作为模型计算的内生部分,推理时不再访问原始上下文。它由动态局部记忆与可训练的超记忆组成,持久状态大小恒定,在 128K 历史长度下存储约为全上下文 KV 缓存的 1/66。在 11 项记忆基准上,MemT-1.0-Flash 与 MemT-1.0-Nano 在被评估的参数化记忆方法中分列第一和第二,但文本记忆系统整体仍领先,尤其在需要细粒度证据检索的长历史上。

深度剖析

MemT-1.0 让模型在推理时不必回读原始上下文,也能保留并使用历史信息,持久记忆状态的大小保持恒定。 此前的做法是把历史留在上下文里,由全上下文 KV 缓存承载,缓存随历史长度增长。 在 128K 历史长度下,MemT-1.0 的持久状态相比全上下文 KV 缓存把存储降低约 66 倍。

记忆由与主干注意力并行运行的原生记忆块承担,其中局部记忆块维护一个随交互步演化的多通道记忆矩阵。 超记忆块提供可训练的记忆查询、键、值投影,以及擦除、写入、遗忘门和输出门。 生成时记忆注意力读取当前记忆状态,归一化并门控读出后加到主干注意力输出上;每轮或每段结束时由 GDN-2 做词元级记忆更新。

模型家族包含 MemT-1.0-Nano 与 MemT-1.0-Flash 两个规模,分别以 Qwen3.6-35B-A3B 和 DeepSeek-V4-Flash 为主干。 Nano 总参数 36B、激活 3B、可训练记忆参数 451M、动态记忆状态 10M;Flash 总参数 288B、激活 17B、可训练记忆参数 3.61B、动态记忆状态 336M。 训练与评测使用 34B 词元的数据和配套基础设施,覆盖 11 项记忆基准。

启示与展望

已展示的范围是 11 项记忆基准上的参数化记忆方法比较,以及 128K 历史长度下的存储对比;示例部署面向带 NVIDIA CUDA 的 Linux 服务器与 Python 3.11 及以上环境,Nano 示例使用两块 GPU。

在 11 项记忆基准上,MemT-1.0-Flash 与 MemT-1.0-Nano 只在被评估的参数化记忆方法中分列第一和第二,文本记忆系统整体仍领先,尤其在需要细粒度证据检索的长历史上;约 66 倍的存储降低对应 128K 历史长度这一条件。