跨视角注意力不再随视图增长:TTB把它烘焙进固定大小MLP,密集视图下渲染稳在23 FPS
仅解码器视角合成模型把上下文视图缓存成随视图数线性增长的KV缓存,密集视图下渲染速度变得不实用;TTB改为在重建阶段把跨视角注意力的输出烘焙进固定大小的快速权重MLP,渲染时只查这份状态。在DL3DV的16、32、64视图960p设置上,TTB以恒定23 FPS渲染,画质接近DVSM,并明显高于同样恒定复杂度的LaCT。
仅解码器视角合成模型把上下文视图缓存成随视图数线性增长的KV缓存,密集视图下渲染速度变得不实用;TTB改为在重建阶段把跨视角注意力的输出烘焙进固定大小的快速权重MLP,渲染时只查这份状态。在DL3DV的16、32、64视图960p设置上,TTB以恒定23 FPS渲染,画质接近DVSM,并明显高于同样恒定复杂度的LaCT。
Titan-Llama把预训练Llama-3.2-1B-Instruct前四层改成块状注意力,并在每个KV头上外挂一个固定大小的神经记忆模块,用测试时训练把历史键值压进模块,主干参数保持冻结。在QuALITY上,相比仅用分段注意力窗口,准确率从23.87%升到40.51%;在LongHealth上从14.50%升到40.75%。评测配置下,中等上下文长度预填充快20%以上、解码快37%,稳态解码显存低24%。
测试时训练层把循环状态换成一个小型神经网络,在线梯度下降让它比线性记忆更有表达力,但每个词元的梯度都依赖此前全部更新,只能顺序计算。ParaTTT改为迭代修正隐藏层预激活梯度的估计,每轮由前向、读出和反向三次分块并行扫描组成,精确的在线递推是该迭代的不动点。在4K上下文下,两次修正以更少时间达到TTT-MLP分块近似的同等误差,340M与1.3B模型在困惑度和召回上不弱于Gated DeltaNet与Mamba-2。
该工作把测试时训练(TTT)层加入 Decision Transformer,构成 Decision Titan,并在用于检验序列记忆的 X-Maze 环境中分析其性能与记忆机制:模型能学到比上下文窗口长 20 倍的长程依赖,可泛化到训练数据 1.7 倍的长度,但时间泛化取决于所用的时间嵌入,而长程依赖的学习能力取决于相关信息如何被编码。
EvolvingAvatar 提出一种因果式交互 3D 头部生成器,在推理时用测试时训练从用户人脸视频与双方音频中自适应,通过 Dyadic Context Prediction 自监督目标、持久快权重与瞬时下颌适应来生成说话与倾听动作,并配套发布 455.95 小时的 InterHead-Bench 基准;实验显示其对话动作统计优于强基线,在最难的分布外划分上随对话推进而改善,与录制用户—头像表情统计的失配从第一个区间起最多降低 11.1%。
已读完全部报道