跳到主要内容
返回时间线
arXiv来源发表:

百度推出LoongForge-Embodied:九种异构具身模型共用一套训练栈,端到端吞吐最高提升4.38倍

核心概要

百度推出LoongForge-Embodied,一个原生PyTorch训练框架,让视觉-语言-动作模型与世界-动作模型这两类结构差异很大的具身模型共用同一套训练基础设施。此前这些模型各自维护独立的训练栈,优化手段难以跨模型复用。框架把模型相关计算与可复用基础设施分开,在九种模型上相对各自开源实现取得1.47至4.38倍的端到端训练吞吐提升,并报告基准任务成功率与官方基线相当。

Source-provided article image: LoongForge-Embodied: A Unified Framework for Training Heterogeneous Embodied Models
arXiv

深度剖析

具身基础模型的训练不再需要为每个模型单独维护一套训练栈,视觉-语言-动作模型和世界-动作模型可以在同一框架内完成训练编排、分布式执行、数据处理、检查点管理和评测。 此前许多具身基础模型依赖各自独立开发的训练栈,分布式执行、数据处理和评测流程都是定制的,注意力优化、图编译、CUDA Graphs、通信优化等系统手段需要在不同栈里反复集成、调优和验证。 在九种代表性模型上,相对各自对应的开源实现,端到端训练吞吐提升1.47至4.38倍;其中DreamZero(Wan2.2-TI2V-5B)提升最大,为4.38倍,Wall-OSS-0.5最低,为1.47倍。

框架把模型相关计算与可复用训练基础设施分开,异构模型保留各自的计​​算图和训练目标,同时共享同一套系统级能力。 配置驱动的模型注册、轻量模型接口和可扩展训练引擎构成统一抽象层,模型只需实现构造和一次前向,返回损失与诊断指标。 评测覆盖九种模型,包括视觉-语言-动作模型、世界-动作模型和全模态世界模型Cosmos 3,并在LIBERO、RoboTwin和SimplerEnv三个仿真基准上报告成功率。

同一套抽象还延伸到评测环节,训练与评测复用同一份模型推理实现,评测循环通过并发、降低单回合开销和复用与策略无关的计算来加速。 参考路径在八块GPU上各跑一个独立的客户端-模拟器对,加速路径用更大的槽位池驱动同样的八块GPU,检查点、基准协议和渲染器保持一致。 六次基准运行中,端到端评测时间加速4.1至23.2倍;一次5000回合的RoboTwin完整运行从41.03小时降到1.77小时,一次2000回合的LIBERO运行在软件渲染下从173.7分钟降到16.3分钟。

启示与展望

演示范围是九种具身基础模型的训练吞吐,以及LIBERO、RoboTwin、SimplerEnv三个仿真基准上的下游成功率;评测加速在八块GPU配置下、六次基准运行中测量,参考路径与加速路径使用同一检查点和同一基准协议。

训练保真度的损失曲线对照是视觉比较,且只覆盖所展示的训练窗口,本身不足以确立完整训练的收敛或数值一致;低精度通信路径只在短训练窗口内报告了小偏差,未确立长程收敛或下游任务等价。评测加速的正确性以相同协议下的总体成功率比较来评估,不要求逐回合复现。