跳到主要内容
返回时间线
NVIDIA Technical Blog来源发表:

Meta开源816B编码模型Muse Spark Open:1M上下文装下整个项目,稀疏路由每次只激活42B

核心概要

Meta发布面向智能体编码工作流的开源混合专家模型Muse Spark Open,总参数816B、每token激活42B,上下文窗口达1M token,可容纳包含复杂依赖与遗留代码的整个项目。此前的通用编码模型面向生成单个函数或单元测试这类上下文小、答案即时的单次补全任务,而多文件重构、跨数千文件导航、失败测试恢复与子智能体协调需要持续多步执行。该模型在NVIDIA GB300 NVL72上训练,支持工具调用、输出评估与迭代修正,并以目标条件保持方向、以上下文压缩维持长会话进展。

Source-provided article image: Scale Agentic Coding Workflows with Meta’s Muse Spark Open on NVIDIA GB300 NVL72
Figure 1 · NVIDIA 开发者技术博客

深度剖析

编码模型开始按持续多步工作来设计,而不是按单次补全来设计。它规划、行动、观察并自我修正,支持带工具使用、输出评估和迭代细化的多步任务执行。 此前的通用编码模型针对单次补全优化,例如生成一个函数、写一个单元测试或给出内联修复,擅长上下文小、答案即时的离散任务。 该模型在NVIDIA GB300 NVL72上训练,官方描述其在首次尝试准确率、工具调用可靠性和跨仓库代码库理解上表现更高。

长会话不靠把任务切碎来维持,而是靠目标条件保持方向、上下文压缩保留继续推进所需的知识。 通用编码模型在上下文变长时通常需要把任务拆成片段处理。 1M token上下文窗口可容纳整个项目,包括复杂依赖、遗留代码和数千个文件。

多模态感知被并入同一次推理,而不是每种模态各走一条流水线。1.8B感知编码器原生处理交错的文本、图像、视频帧和音频。 常见做法是为每种模态维护单独的流水线。 该设计面向同一智能体会话中跨越截图、图表、错误日志和视频演示的开发者工作流。

启示与展望

报道覆盖的是Meta发布的Muse Spark Open模型及其在NVIDIA GB300 NVL72上的训练与部署配置,面向需要长上下文、多步工具调用的编码智能体开发者。材料给出的部署路径包括从Hugging Face下载NVFP4权重、使用NVIDIA NIM容器,以及通过SGLang、vLLM、TensorRT LLM三种推理栈自行配置服务。

材料未给出与其它模型在统一基准上的对比数值,首次尝试准确率、工具调用可靠性和吞吐提升均以定性方式描述。稀疏MoE的实际吞吐取决于72 GPU NVLink域提供的130 TB/s通信带宽,材料指出该带宽决定部署能实现多少理论吞吐。