推理加速器也能边服务边学习:LWS把学习藏进预测的空闲算力,保住99.3%质量收益
核心概要
长上下文模型若在推理时继续学习,就要在预测之外付出反向计算和权重更新的代价,而现有推理加速器默认权重固定。LWS把学习安排到预测期间闲置的矩阵算力上,用逐层权重版本管理允许预测读取稍旧的权重,并让长学习任务在碎片化空闲窗口间暂停续跑。在建模的数据中心与边缘NPU上,TTT-E2E 3B在128K token下保持仅预测时的吞吐,同时保留完全新鲜学习质量收益的99.3%。
深度剖析
推理加速器可以在不牺牲预测吞吐的前提下承担推理时学习,把原本串行等待的反向计算与权重更新放进预测留下的空闲矩阵算力里。 串行执行要等每个分块的学习和权重更新完成才处理下一块,学习占TTT-E2E总执行时间的54%,抵消了有界注意力带来的大部分加速。 在建模的数据中心与边缘NPU上,TTT-E2E 3B在128K token下LWS保持仅预测吞吐,并保留完全新鲜学习质量收益的99.3%;在九个模型上达到串行执行和此前最佳共执行架构的吞吐。
实现方式是把权重更新变成有截止时间的版本发布,并让学习内核在预测需要硬件时让出、之后接着算。 逐层权重版本管理让预测继续读取已获取的旧版本,学习则发布新版本;可恢复的归约块让长学习内核跨多个空闲窗口执行。 在建模的TPUv5e级数据中心NPU上,TTT-E2E 3B的混合滞后策略1111|0000在128K下保留99.3%的学习收益,而冻结输入侧四个可变层只保留76.2%。
专用softmax梯度单元把学习对共享向量单元的争用压下去,使重叠不再被向量瓶颈卡住。 学习对向量的需求达到预测闲置向量容量的2.1倍,其中注意力与词表softmax梯度合计占学习向量工作的86.8%。 去掉专用dS/dZ单元后吞吐下降;加上后,学习额外的向量需求降到分块周期的3.5%,RTL综合显示LWS给NPU核心面积增加1.5%,且不需要另加MAC阵列。
启示与展望
评估集中在单条长上下文序列的分块预填充,批处理服务和自回归解码不在范围内;性能与面积数字来自算子级模拟器和16纳米RTL综合,而非流片实测。
质量保留以Books3验证集上16条输入序列衡量,并以完全新鲜学习的NLL改进为基准;在online LoRA的边缘配置中,合并后的MAC需求超出硬件容量7%,吞吐因此受限。
