跳到主要内容
返回时间线
NVIDIA Technical Blog来源发表:

英伟达把物理AI训练数据做成流水线:两条提示词跑通五个蓝图,缺陷图集从两个月缩到一天

核心概要

英伟达发布 Cosmos Data Factory,把整理、标注、增广和合成数据生成打包成五个云端蓝图与六项可组合技能,由前沿 AI 智能体按提示词编排,目标是让难以采集的训练数据变成可控的算力任务。在八块 RTX PRO 6000 Blackwell 服务器上,团队按日吞吐折算成本:自动驾驶边缘场景约每天 130 段、每段 2.66 美元 GPU 算力,缺陷图像的数据集组装时间从两个月降到一天。这些数字只覆盖算力,源数据准备、环境搭建、智能体使用、存储和人工复核可能另计成本。

AI-generated editorial illustration: Build Training-Ready Physical AI Datasets with Two Prompts in NVIDIA Cosmos

深度剖析

物理 AI 的训练数据准备从零散工具和手工流程,变成由提示词驱动的云端工作流:开发者用两条提示词即可完成环境预检、部署和蓝图运行,覆盖自动驾驶场景生成、图像属性增广、视频增广、罕见事件视频生成和缺陷图像生成五类任务。 此前的做法是用彼此不连通的工具和人工步骤完成筛选、标注、生成与评估,而罕见缺陷、夜间事故等场景本身采集成本高、耗时长。 五个参考蓝图都跑在同一个 CDF Orchestration 核心技能上,由它协调流程步骤、部署所需服务并管理集群上的执行;第一条提示词先做预检,只检查环境、不做改动并标出缺失项,通过后再执行安装。

每类任务由一条流水线串起检索、生成和评估:以自动驾驶蓝图为例,Cosmos Curator 抽取视频元数据,Cosmos Dataset Search 通过嵌入找到相关视频,再交给 Cosmos3-Super-Image2Video 做风格迁移,最后由 Cosmos Evaluator 检查生成视频的物理合理性。 检索依赖多嵌入检索,把元数据、场景语义、空间关系和时间行为结合起来,Cosmos Dataset Search 已以 Apache 2.0 许可开源,自适应智能体重排序处于早期访问阶段。 缺陷图像蓝图针对印刷电路板、玻璃和金属提供微调版本,可从干净的检查图像或 3D USD 资产出发,用 Isaac Sim 渲染检查图像与掩码、Qwen-Image-Edit 生成干净参考图,再由 Cosmos 3 Super 按缺陷掩码和指定缺陷类型生成缺陷并保留周边零件。

成本按日吞吐折算:在八块 RTX PRO 6000 Blackwell 系列 GPU 的云服务器上,按约每小时 40 美元、每天 960 美元计,图像属性增广每天约 42,649 对标注图像、每对 0.023 美元,视频增广每天约 305 段标注片段、每段约 5 分钟、3.15 美元,事件视频每天约 384 段标注片段、每段 2.50 美元、约 4 分钟。 对照的是第三方采购与实车采集:图像对第三方均价 0.25 美元、视频第三方均价 22 美元、车队实地采集每个场景 125 美元。 按同一口径折算,图像属性增广约为第三方采购的十分之一价格,视频增广约为七分之一,自动驾驶边缘场景每段 2.66 美元、约为车队采集的四十五分之一;缺陷图像生成把数据集组装时间从两个月降到一天。

启示与展望

报道范围限于英伟达公布的 Cosmos Data Factory 蓝图、技能与吞吐成本折算,面向需要构建物理 AI 训练数据集的开发者;所述成本仅覆盖 GPU 算力,源数据准备、环境搭建、智能体使用、存储与人工复核可能另加费用。

成本数字是团队在八块 RTX PRO 6000 Blackwell 系列 GPU 的云服务器上按日吞吐折算所得,并非跨硬件配置的通用结论;雷达与其他激光雷达设备、更多传感器类型仍属计划扩展,自适应智能体重排序处于早期访问阶段。