推理加速器也能边服务边学习:LWS把学习藏进预测的空闲算力,保住99.3%质量收益
长上下文模型若在推理时继续学习,就要在预测之外付出反向计算和权重更新的代价,而现有推理加速器默认权重固定。LWS把学习安排到预测期间闲置的矩阵算力上,用逐层权重版本管理允许预测读取稍旧的权重,并让长学习任务在碎片化空闲窗口间暂停续跑。在建模的数据中心与边缘NPU上,TTT-E2E 3B在128K token下保持仅预测时的吞吐,同时保留完全新鲜学习质量收益的99.3%。
长上下文模型若在推理时继续学习,就要在预测之外付出反向计算和权重更新的代价,而现有推理加速器默认权重固定。LWS把学习安排到预测期间闲置的矩阵算力上,用逐层权重版本管理允许预测读取稍旧的权重,并让长学习任务在碎片化空闲窗口间暂停续跑。在建模的数据中心与边缘NPU上,TTT-E2E 3B在128K token下保持仅预测时的吞吐,同时保留完全新鲜学习质量收益的99.3%。
已读完全部报道