百度开源文心5.5 Flash Base 高效基座模型发布

11月5日，百度正式开源了旗下最新的基座模型文心5.5 Flash Base。该模型采用混合专家模型架构，总参数量达2800亿，每一个令牌仅需激活140亿参数；预训练阶段共使用33.5万亿个令牌，预训练上下文长度最高支持128K，而在微调与推理环节，上下文长度可拓展至100万令牌。在知识、推理、数学、代码、多语言及长上下文等多项核心基准测试中，该模型取得了同尺寸模型的最优表现，性能超过DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base等多款同类模型。

随着大模型应用场景从基础的文本问答，逐步延伸至长文档分析、多轮交互以及智能体任务，模型需要处理的信息量正持续攀升，这也使得计算资源与显存的消耗随之增加。在保障模型核心能力的前提下，提升资源利用效率，已成为当前大模型研发领域的核心课题之一。

文心5.5 Flash Base正是围绕“效率”这一核心设计主线，在注意力机制、专家路由以及训练机制等关键环节进行了系统性优化，实现了多项算法层面的创新突破。

在注意力机制方面，文心团队推出了潜门控稀疏注意力机制，将混合稀疏注意力、低秩门控注意力与虚拟头注意力三者有机结合。具体而言，模型通过组合混合压缩注意力与多令牌注意力，让不同注意力层分别承担压缩历史信息、细粒度访问历史位置的任务；低秩门控注意力利用已有的低维表示计算信息门控，使门控投影权重参数减少75%；虚拟头注意力可提升模型表达力与训练质量，推理时融合进注意力算子，几乎不产生额外开销。这些设计降低了长上下文处理的资源消耗，同时保留了模型对关键信息的处理能力。

在专家路由模块，该模型采用了多路由器潜门控混合专家模型架构，由多个独立路由器共同参与专家选择，改善路由评分与专家实际效用的关联性。相比依赖单一路由器的传统方案，该设计能降低单一评分偏差对专家选择的影响，同时保持激活专家数量、计算量与通信量不变。在训练目标上，模型引入了回音机制：无需额外增加多令牌预测模块，而是复用主干最后一层，让主干自身学习预测后续令牌，提前规划序列走向，有效提升推理与代码能力。文心5.5 Flash仅采用单步回音机制预训练，复用的最后一层还可作为投机解码的草稿模型，展现多步外推能力——仅训练一步，多步起草质量也大幅优于辅助多令牌预测模块的方案。

除模型架构创新外，大模型基建优化同样重要。文心团队对分布式Muon优化器进行了针对性优化，推出面向大维度头的注意力算子FlashMask-4，改善了大规模训练中的通信、显存利用与计算效率。模型能力的提升不仅依赖算法突破，也与训练系统能否高效支撑这些设计密切相关。

基座模型不仅承载着预训练阶段形成的通用能力，也是下游模型开发与应用创新的重要基础。与面向终端用户的应用模型不同，基座模型为开发者和企业提供了进一步微调与定制的空间，可基于自身业务需求构建适配不同场景的专业模型与应用。开放基座模型能为开发者提供更多技术选择，降低专业模型开发的训练成本与技术门槛。

当前，大模型的竞争已逐渐迈向模型能力、训练效率与场景创新协同发展的新阶段。随着推理、智能体等技术与应用加速演进，行业对基座模型的需求也从单一的能力提升，转向更高效的训练范式、更灵活的能力拓展以及更广泛的场景适配需求。文心5.5 Flash Base在提升模型基础能力与训练推理效率的同时，为开发者和社区提供了更具拓展性的技术基础，推动模型技术走向多样化的能力探索与应用创新。