百度发布2800亿参数稀疏基础模型

百度发布稀疏混合专家基础模型ERNIE 5.5 Flash Base，将新一轮模型竞争的焦点放在预训练底座及其计算效率上。据MarkTechPost于2026年11月5日刊载的报道，这是一款总参数量2800亿、每个词元激活140亿参数的纯文本模型。此次开放的权重停留在预训练结束时，未经过中期训练或后训练，因此适合作为比较微调、指令微调和强化学习方法的共同起点。它面向希望自行塑造模型能力的研究与开发团队，实际部署使用文本补全接口。

基础权重开放了什么

ERNIE 5.5 Flash Base采用43层结构，隐藏维度为4096，使用Muon优化器，从零开始在33.5万亿个词元上完成预训练。其分词器包含201216个条目，对数字采用从右向左、每组最多3位的切分方式。训练上下文长度为128K，微调与推理阶段支持1M级上下文。百度在预训练数据中侧重代码仓库级代码和长上下文材料，理由是这类能力难以在后续阶段补齐；同时将激活计算量、KV缓存和长上下文成本作为统一预算处理。

这一发布形态的价值在于保留相对干净的训练起点。团队可以基于同一份权重研究不同训练方法如何改变知识调用、代码生成和推理表现，也可以自行构建领域适配流程。不过，基础模型的评测成绩不能直接等同于聊天产品的使用体验：指令遵循、交互方式与任务执行稳定性仍取决于后续训练。当前材料没有披露进一步推出指令版或聊天版的具体时间表。

用混合注意力压缩长上下文成本

模型的43层中，37层使用重度压缩注意力HCA，每128个词元仅缓存1个条目；另外6层采用结合稀疏注意力的多头潜在注意力，即MLA＋DSA。按原文的结构描述，约每7层中有1层保留完整上下文访问能力。HCA层的注意力头维度为512，MLA层为256。这种组合旨在通过多数层压缩缓存、部分层维持更广的信息访问，控制长序列处理的资源开销。注意力输出门控来自低秩查询潜变量，使门控投影参数减少75%；Virtual Head Attention则通过轻量的低秩混合，让不同注意力头之间交换信息。

专家模块采用Multi-Router Latent MoE，每层包含512个路由专家，选择其中10个参与计算，并配置1个共享专家。百度以多个独立的sigmoid路由器替代单一路由器，同时维持专家浮点计算量与通信量不变；专家在2048维潜在空间运行，宽度为隐藏维度的一半。模型还采用扩展率为4的Manifold-constrained Hyper-Connections，以及MultiMax输出头。未来词元预测则由ECHO承担：它复用骨干网络的最后一层预测后续词元，并让该层兼任推测解码的内置草稿模型。ECHO额外增加3.6亿参数，这部分不计入对外公布的主体参数量。上述设计分别作用于缓存、路由、信息混合和解码环节，实际收益仍需结合具体负载验证。

30项评测领先24项，短板同样明确

百度使用相同评测流程、提示词和少样本设置测试了4款基础模型，称ERNIE在30项基准中的24项取得最佳成绩。所有结果均为百度自报。考试类测试中，ERNIE的MMLU为93.3、MMLU-Redux为94.1、MMLU-Pro为78.4；知识测试SimpleQA为34.1，高于DeepSeek-V4-Flash-Base的29.1。STEM与推理方面，GPQA为60.2、MGSM为87.0、BBH直接作答为77.1。代码方面，HumanEval+为82.3、MBPP+为81.5、LiveCodeBench为40.1。长上下文方面，RepoQA为91.7、LongBench-v2为48.7、HELMET-ICL为85.9。这些结果覆盖知识、推理、编程与长文本处理，但各项测试衡量的能力不同，不能仅用领先数量判断所有场景的表现。

另外6项测试呈现出竞争对手的优势：DeepSeek-V4-Flash-Base在ChineseSimpleQA、INCLUDE-lite、HELMET-Rerank和InfiniteBench领先，腾讯Hy3-preview-Base则在BBH思维链作答与FullStackBench领先。百度统一评测中的竞品分数与厂商原始报告存在差异：DeepSeek自行公布的MMLU-Pro为68.3，百度测得69.2；腾讯公布的Hy3成绩为65.76，百度测得66.9。因此，ERNIE的MMLU-Pro领先DeepSeek 9.2分，指的是百度同一流程内78.4与69.2的差距。统一流程有助于比较，但这些成绩仍需要独立测试和真实业务验证作为补充。

与深度求索、腾讯、小米如何比较

参数规模上，DeepSeek-V4-Flash-Base总参数2840亿、激活130亿，上下文为1M；腾讯Hy3-preview-Base总参数2950亿，另有38亿MTP参数，激活210亿，上下文256K；小米MiMo-V2.5-Base总参数3100亿、激活150亿，上下文同为256K。三者与ERNIE的2800亿总参数、140亿激活参数处在相近比较区间，但结构差异明显：DeepSeek使用CSA＋HCA混合注意力，模型卡未披露专家配置；腾讯使用分组查询注意力GQA，192个专家中选择8个；小米采用滑动窗口注意力与全局注意力5∶1的组合，256个专家中选择8个。发布权重方面，ERNIE提供FP8和BF16，DeepSeek与小米提供FP8，腾讯为混合BF16。许可方面，DeepSeek与小米采用MIT，腾讯使用Tencent Hy Community License，百度使用ERNIE 5.5 Flash Base License v1.0。

进一步按ERNIE、DeepSeek、腾讯Hy3、小米MiMo的顺序比较，百度统一评测的MMLU-Pro成绩分别为78.4、69.2、66.9、65.7；HumanEval+分别为82.3、69.5、78.0、74.4；LongBench-v2分别为48.7、44.5、39.8、44.6；HELMET-Rerank分别为56.2、60.0、55.7、56.6。ERNIE在前三项领先，但重排序测试落后于DeepSeek和小米。这说明其知识、代码与部分长上下文成绩较强，并不意味着所有长文本任务都占优。对需要检索后重排序、代码仓库分析或复杂应用开发的团队而言，应优先对照相应任务，而非直接把某项综合成绩当作采购或选型结论。

部署入口明确，硬件与许可仍有边界

权重已在Hugging Face和ModelScope提供，包含FP8与BF16版本。百度文档支持使用SGLang和vLLM部署，参考配置采用4路并行，其中SGLang示例参数为--tp 4；vLLM路径需要0.32.0版本及vLLM-ERNIE插件。两种服务均接受最多1048576个词元，模型通过completions文本补全端点运行，而非chat聊天端点。部署面向多GPU服务器，但材料没有披露具体GPU型号和显存需求。每个词元仅激活140亿参数，说明计算具有稀疏性，并不意味着只需为140亿参数准备存储；完整权重、KV缓存和运行时开销仍会影响资源配置。

训练使用面向SM90和SM100 GPU的FlashMask-4内核。百度报告，在SM100上，相比FlashAttention-4 MaskMod，其前向速度最多提升175%，反向速度最多提升74%。这些是特定平台上的内核性能数据，不能直接视为完整模型服务吞吐量的同幅提升。商业使用还需要关注自定义许可：按报道概述，营收低于5000万美元可免费使用，但许可排除欧盟、英国和韩国。具体适用条件应以许可正文为准。相关模型权重、技术博客，以及VHA、Multi-Router MoE和ECHO论文，为进一步检查实现与设计提供了材料。

ERNIE 5.5 Flash Base为基础模型研究增加了一个具备百万级上下文支持的稀疏预训练检查点，也把竞争推进到注意力压缩、专家路由和解码复用等更细的工程层面。接下来的关键，是开发者能否在这一底座上通过后续训练获得稳定收益，以及独立评测能否复现百度报告的优势。对于准备采用它的团队，代码与长文本任务的实测表现、多GPU部署成本以及许可适用范围，将共同决定这次权重开放能带来多大实际价值。