标签：混合专家架构 共 1 条

百度开源文心5.5基座模型，聚焦长上下文效率

百度于11月5日开源文心5.5 Flash Base，采用总参数2800亿、每个Token激活140亿参数的MoE架构，并支持微调与推理阶段最长100万Token上下文。此次发布以效率优化为主线，面向长文档分析、多轮交互和智能体任务。