腾讯混元开源Hy4 preview:770B总参数、每token激活49B,盲评工程任务略胜GLM 5.3与Kimi K3
核心概要
腾讯混元团队开源了新一代混合专家模型Hy4 preview及其FP8量化版本,总参数770B、每token激活49B,支持1M上下文。团队称这是其测得的代际提升最大的一代,并把模型定位在开源前沿。在一项内部盲评中,163位专家对203项工程任务的输出打分,Hy4 preview以2.99的平均分略高于GLM 5.3的2.92和Kimi K3的2.94。
深度剖析
腾讯混元团队把Hy4 preview的模型权重连同FP8量化版本一起公开,发布在Hugging Face、ModelScope、GitCode和CNB四个平台,采用Apache 2.0许可。 团队把这一代描述为迄今测得的最大代际能力提升,并称其足以把Hy4 preview放到开源前沿;这一判断来自团队自身的表述,而非与外部基线的公开对照。 支撑这一说法的是团队组织的盲评:163位内部专家对203项工程任务的模型输出做并排打分,Hy4 preview平均2.99分,GLM 5.3为2.92分,Kimi K3为2.94分。
模型采用混合专家结构,78层中第一层保留标准稠密前馈网络,其余77层各含256个路由专家和1个共享专家,每个token激活前8个路由专家与共享专家。 注意力模块采用带门控的DeepSeek稀疏注意力并配合IndexCache做跨层稀疏索引复用,残差通路使用iHC扩展层间信息流,团队说明这两处设计受DeepSeek与GLM启发。 模型规格给出隐藏维度6144、64个注意力头、查询压缩维度2048、键值压缩维度512、上下文长度1M、词表120832,另内置1个原生MTP层用于投机解码,该层总参数10B、激活0.7B。
启示与展望
已展示的范围是团队自建的203项工程任务盲评、公开的模型规格表,以及四个平台上的权重与FP8版本;团队同时说明这是Hy4的早期版本,预训练与后训练都仍有提升空间。
团队列出的已知问题包括在复杂任务上推理耗时超出必要,以及倾向于反复核验自身输出;团队表示会快速迭代,并延续Hy3 preview先发布再收集问题的做法。
