Thinking Machines 发布循环模型 Inkling 2 Mini:中间 12 层跑三遍,vLLM 首日即支持
核心概要
Thinking Machines 发布多模态混合专家模型 Inkling 2 Mini,其第 6 至 17 层以共享权重运行三遍,每遍保留独立 KV 缓存并从前一遍读取门控消息。vLLM 在发布当天于 NVIDIA Blackwell、Hopper 和 DGX Spark 上提供支持,把每一遍的缓存当作普通缓存层管理,并复用 Inkling 2 Small 的融合算子。同一发布还包括可变循环研究检查点 TML-d24-varloop-research,其遍数与是否共享 KV 缓存可在启动时设定。
深度剖析
Inkling 2 Mini 把 24 层拆成前奏、循环核心与尾声三段,核心的第 6 至 17 层以共享权重运行三遍,尾声从最后一遍继续。 普通循环模型把第 p 遍的输出直接送入第 p+1 遍;这里三遍都从同一份前奏输出出发,后一遍只通过消息看到前一遍。 从第二遍起,每个核心子层的注意力查询、键、值输入和 MLP 输入各读一条消息,12 个核心层、每层 4 个输入,因此每个 token 在后续遍中读取 48 条消息。
vLLM 把核心层每一遍额外注册为独立的注意力层,各自带 KV 缓存和卷积状态缓存,因此 24 层的模型拥有 48 份 KV 缓存和 48 份卷积状态缓存。 缓存管理器和前缀缓存把这些缓存当作普通缓存处理,服务循环结构不需要新的缓存管理逻辑。 一个注意力残差内核一次读完一层四条消息,四个控制器的权重被堆叠成批量 GEMM,合并以 FP32 运行且不做 FMA 收缩,与参考实现一致。
同一发布还包含研究检查点 TML-d24-varloop-research,其循环遍数和是否让各遍共享一份 KV 缓存可在启动时通过 --hf-overrides 选择。 固定循环的 Inkling 2 Mini 不接受这两个选项;共享缓存时每一遍覆盖自己 token 的键和值,后续 token 读到的是最后一遍,卷积状态仍按遍保留。 在单块 GB200、TP1、4K 上下文、仅前向的设置下,解码一步在批量为 1 时随遍数 1、2、3 分别为 1.51、2.67、3.85 毫秒,KV 缓存容量分别为 352K、233K、175K token;三遍共享缓存时为 3.86 毫秒和 194K token。
启示与展望
已展示的范围是 vLLM 在 NVIDIA Blackwell、Hopper 和 DGX Spark 上对 Inkling 2 Mini 及 TML-d24-varloop-research 的服务支持,并提供镜像 vllm/vllm-openai:inkling-2-mini;性能数字来自单块 GB200、TP1、4K 上下文、仅前向的设置。
可变循环检查点的取舍以单块 GB200、TP1、4K 上下文、仅前向的测量为限;共享 KV 缓存释放的内存少于减少一遍,因为按遍保留的卷积状态缓存仍在。DSpark 草稿要求默认的三遍,因为它读取固定的层访问点。
