百度开源2800亿参数文心模型ERNIE 5.5

百度在开源大模型赛道再落一子。11月5日，百度正式开源发布文心ERNIE 5.5 Flash Base，这是一个拥有2800亿参数的基座大模型，权重已上架Hugging Face，开发者可以免费下载，并在其基础上做二次训练和领域适配。

不是成品助手，而是一个起点

与常见的聊天助手模型不同，ERNIE 5.5 Flash Base发布的是预训练完成、中期训练和后训练之前的检查点。百度表示，这一阶段的模型更适合用来做领域适配、指令微调和强化学习研究：开发者可以从同一个起点出发，自行决定后续的训练目标，而不是被动接受百度已经定型的助手行为。

这种做法还有一个研究上的好处：不同团队可以用同一个检查点对比各自的训练方法，衡量每种方法到底带来了多少提升。对资源有限的团队来说，直接拿到大规模预训练的成果，可以把算力和精力集中在自己关心的任务和方法上，省去从头预训练的高昂成本。

2800亿参数，每次只激活140亿

ERNIE 5.5 Flash Base采用混合专家（MoE）架构，总参数量2800亿，但每个Token实际激活的只有140亿参数。每个专家层包含512个路由专家，每次推理从中挑选10个，再加1个共享专家；百度还引入了多个路由网络来做专家选择，称可以在不增加激活参数的前提下提升选择质量。

长上下文是这款模型的另一个卖点。百度称，该模型在微调和推理时支持100万Token的上下文，足以一次处理整部中长篇小说或大型代码仓库的量级。相比之下，它的预训练上下文是从较短长度逐步扩展到12.8万Token的。整个检查点从零预训练，共消耗了33.5万亿Token的训练数据。

为了提升长上下文的效率，百度还做了专门的注意力优化：多数注意力层把每128个Token压缩成一个缓存条目，同时保留一小段未经压缩的近期文本；每七层中有一层保留全上下文的Token级访问，并用一个轻量索引器为主要注意力计算挑选位置。

为代码和长文档做了针对性训练

训练数据的构成透露了百度的目标场景。除了常规文本，百度还把代码提交记录、Issue、Pull Request、代码评审、自动生成的测试以及通过持续集成检验的修复都纳入了训练数据；长上下文数据则混合了自然文档、带干扰项的相关文本，以及合成的检索和问答任务。这些安排明显指向仓库级代码开发和长文档处理两类场景。

模型还引入了一个名为ECHO的组件：它复用模型的最后一层来预测未来的Token，而不是额外挂一个预测模块。百度称，这样既能用同一组参数完成下一Token的生成，也能为推测解码起草候选Token——推测解码是一种先起草再校验的加速推理方式。

在评测方面，百度把ERNIE 5.5 Flash Base与DeepSeek-V4-Flash-Base、Hy3-preview-Base和MiMo-V2.5-Base放在同一评测框架、同一提示词和同一少样本设置下对比，并用同一个模型裁判评估开放式回答。百度重点突出了推理、代码和考试类成绩。不过需要注意，这是百度自己运行的基座模型对比，并非成品助手之间的排名。

权重开放，但许可证有条件

权重以FP8和BF16两种数值格式提供，百度还给出了通过SGLang和vLLM部署的文档，并提供了一个ERNIE 5.5的微调示例，覆盖“能跑起来”和“能接着训”两条路。

但“开源”并不等于“无条件商用”。该模型使用的是百度定制的《ERNIE 5.5 Flash Base模型许可协议v1.0》，其中有两条限制值得注意：

• 地域限制：许可的地域授权排除了欧盟、英国和韩国。
• 收入门槛：相关产品与服务的年收入在5000万美元及以下时，商用无需支付模型许可费用，但需署名并一次性通知百度；超过5000万美元，则需事先获得百度的单独书面授权。收入按滚动12个月统计，且同一控制下的关联实体收入合并计算。

此外，协议对“衍生模型”的定义相当宽泛，适配器、微调模型以及通过蒸馏或合成数据知识迁移训练出的模型都在其列。这意味着基于该权重做的二次开发成果，同样受到这份许可的约束。

中国开源模型进入密集发布期

ERNIE 5.5 Flash Base的发布，正值中国开源大模型迎来一波密集发布：就在前一天，腾讯开源了7700亿参数的混元Hy4，月之暗面也开源了Kimi K3.1 Pro的模型权重。各家争相开放更大规模的基座模型，竞争的焦点正在从“谁的模型更强”转向“谁的生态更能留住开发者”。

对百度而言，开放一个未经后训练的基座检查点，是一种差异化的打法：它吸引的是有能力做二次训练的团队和研究者，而不是只想直接调用现成助手的用户。但许可证里的地域和收入限制也表明，百度并不打算把这块最核心的预训练资产完全无条件地交出去。开源与商业回报之间的平衡，仍是这场竞赛中每家厂商都要算清楚的一笔账。