百度开源文心5.5基座模型，聚焦长上下文效率

百度的大规模基座模型开源布局迎来新进展。11月5日，百度正式开源文心5.5 Flash Base（ERNIE 5.5 Flash Base），将采用混合专家架构的最新基座模型向开发者开放。此次发布的重点，既包括知识、推理、数学和代码等基础能力，也包括长上下文场景下的资源利用效率。随着模型应用逐渐走向长文档分析和智能体任务，如何让大规模参数服务于更复杂的工作，同时控制计算与显存开销，成为这款模型的核心设计问题。

2800亿总参数，以稀疏激活组织计算

从公开规格看，文心5.5 Flash Base采用MoE，即混合专家架构，总参数量为2800亿，每个Token激活140亿参数。这两个数字分别反映模型的整体参数规模，以及处理单个Token时参与计算的参数规模。MoE架构通过专家路由选择部分专家参与处理，使模型不必在每一步计算中调用全部参数。这也是理解该模型效率定位的关键：较大的总参数规模与相对有限的单次激活规模可以同时存在，但实际运行效果仍取决于具体实现和任务负载。

需要区分的是，激活参数少并不意味着部署时只需承担相应比例的全部资源成本。模型权重的存储、专家之间的数据调度、注意力计算，以及长上下文带来的缓存需求，都会影响显存占用和响应速度。因此，2800亿总参数与140亿激活参数提供的是判断架构的重要起点，并不能单独换算成实际部署成本。百度此次将注意力机制、专家路由和训练机制一并纳入优化范围，也说明其效率设计涉及多个相互关联的环节。

33.5万亿Token预训练，拓展上下文容量

训练规模方面，文心5.5 Flash Base使用33.5万亿个Token完成预训练，预训练上下文长度最高达到128K；在微调与推理阶段，模型支持最长100万Token上下文。这里的Token是模型处理文本等信息时使用的计量单位，不能直接等同于汉字数或文档页数。预训练阶段的128K与微调、推理阶段的100万Token，也分别对应不同阶段的能力规格，不能将两者混为一谈。

更长的上下文窗口，意味着模型可以在一次处理过程中容纳更多材料，为跨文档阅读、复杂对话记录处理以及智能体运行中的信息整合提供空间。不过，能容纳多少信息与能否准确利用这些信息，是两个需要分别验证的问题。对于实际应用而言，开发者还需要关注模型在长距离信息检索、前后约束保持和多份材料交叉分析中的表现，以及输入增长后延迟与显存占用如何变化。原文公布了上下文长度上限，但没有提供这些具体场景下的完整运行数据。

从注意力入手，缓解长任务资源压力

百度将“效率”作为文心5.5 Flash Base的设计主线，背景是大模型应用正在从文本问答延伸到长文档分析、多轮交互和智能体任务。与短问题、短回答相比，这些任务往往需要保留更多历史信息，并在连续步骤中反复调用上下文。输入规模扩大后，计算与显存开销也随之上升。模型研发因而需要同时处理两个目标：维持乃至提升能力，并让有限的硬件资源承载更多有效工作。

在注意力机制上，文心提出Latent-Gated Sparse Attention，将混合稀疏注意力、低秩门控注意力和虚拟头注意力结合起来。原文还介绍，模型通过组合HCA与MLA，使不同注意力层分担历史信息压缩与细粒度历史信息访问等工作。从这一设计方向看，其思路是让历史信息的保存与调用采用更有针对性的方式，减少长上下文处理中不必要的资源消耗。现有素材没有完整展开后续技术细节，也未给出各项机制分别带来的收益，因此还不能据此量化某个模块对速度、显存或准确率的具体贡献。

多项基准领先，开源后的验证更关键

据发布信息，文心5.5 Flash Base在知识、推理、数学、代码、多语言和长上下文等多个基准测试中，取得了同尺寸模型的SOTA表现，即当前最佳水平，超过DeepSeek-V4-Flash-Base、Hy3-preview-Base和MiMo-V2.5-Base等模型。这一比较覆盖了基础知识与复杂任务能力，也将长上下文和多语言纳入评价范围。不过，原文未列出具体测试集名称、各项分数及完整评测配置，“同尺寸”的比较口径也未进一步说明，因此这项领先结论应当与发布方的评测范围一并理解。

对于开发者而言，开源为检验这些能力提供了更直接的入口。模型已在Hugging Face发布，地址为https://huggingface.co/baidu/ERNIE-5.5-Flash-Base。此次开放的是基座模型，通常可作为后续任务适配、指令微调和应用研究的基础；其定位也意味着，不能仅凭基准成绩就推定它在所有对话产品或智能体系统中都能直接达到同样效果。团队需要结合自身的数据、任务流程和运行条件开展验证，尤其要检查模型能否稳定完成目标任务，以及适配后的性能是否符合业务需要。

文心5.5 Flash Base的开源，将大参数规模、稀疏激活与长上下文能力放进了同一个可供开发者研究和适配的模型框架。后续值得观察的重点，是第三方评测能否复现所公布的能力优势，以及这些优势能否在长文档处理、多轮交互和智能体任务中转化为可衡量的效率收益。原文没有披露进一步的版本迭代时间表；随着开发者围绕实际任务展开测试，这款模型的能力边界、硬件要求和适用场景才会得到更完整的呈现。