跳到主要内容
返回时间线
arXiv来源发表:

Zephon 数据加载器在文本与视觉语言任务上实现弹性确定性,支持在线有状态流水线并保持有竞争力的吞吐

核心概要

Zephon 是一个面向基础模型的数据加载器,针对在线、有状态的数据流水线(如在线分词、打包与混合样本)提供弹性确定性,即在 GPU 拓扑变化、频繁检查点恢复以及不同数据处理后端下仍保持全局训练批次序列确定,并仅检查点有界在途状态使恢复成本不随训练进度增长;在文本与视觉语言工作负载上取得有竞争力的吞吐,并提供现有加载器未同时具备的保证组合。

Source-provided article image: Zephon: Elastic Determinism for Online, Stateful Foundation Model Data Loading Pipelines
Figure 2 · arXiv

深度剖析

提出弹性确定性概念:在 GPU 拓扑跨运行变化(例如 GPU 资源紧张)、频繁检查点恢复以及不同数据处理执行后端下,仍能给出确定的全局训练数据批次序列。 现有数据加载器大多假设可索引的 1 对 1 流水线,而现代基础模型流水线在线进行分词、打包与混合,引入有状态的 n 对 m 变换,破坏了样本索引;离线物化这一常见变通代价高昂,且对视频等模态不可行。 论文以问题陈述与设计目标形式给出该概念,并在文本与视觉语言工作负载上评估其可行性。

Zephon 通过将全局流划分为与拓扑无关的 lane、串行化排序决策同时在可互换后端上并行无状态工作,并仅检查点有界在途状态,从而支持在线有状态流水线并实现高效恢复。 恢复成本不随训练进度增长,这一点区别于需要物化或假设可索引流水线的既有方案。 论文描述了上述机制,并在文本与视觉语言工作负载上报告了有竞争力的吞吐。

在文本与视觉语言工作负载上,Zephon 达到有竞争力的吞吐,同时提供现有加载器在在线有状态流水线上未提供的保证组合。 该保证组合(弹性确定性加高效恢复)在在线有状态流水线场景下此前未被现有加载器同时提供。 评估覆盖文本与视觉语言两类工作负载,报告吞吐具有竞争力;具体数值未在摘要文本中给出。

启示与展望

该工作面向基础模型开发中的数据加载环节,适用于在线、有状态流水线(在线分词、打包、混合样本)以及需要在 GPU 拓扑变化、频繁检查点恢复和不同执行后端之间保持全局批次序列确定的训练场景。其评估覆盖文本与视觉语言工作负载,因此结论主要适用于这些模态;对视频等离线物化不可行的模态,论文将其作为动机提及,但未在摘要中报告相应评估结果。

摘要未给出具体吞吐数值、对比基线或评估规模,因此“有竞争力的吞吐”与“现有加载器未提供的保证组合”的量化边界仍需在正文中确认。弹性确定性在极端拓扑变化或后端差异下的实际表现、以及有界在途状态的具体上界,属于读者可继续关注的方向。此外,视频等模态虽被提及为离线物化不可行,但摘要未报告其评估结果,是否可扩展到该类模态仍是开放问题。