11 月 5 日,百度把最新的基座模型 文心 5.5 Flash Base(ERNIE 5.5 Flash Base)开源了,权重直接放在 Hugging Face 上。核心规格一句话说完:MoE 架构、总参数 2800 亿、每个 Token 只激活 140 亿、预训练用了 33.5 万亿 Token、预训练上下文 128K,微调和推理阶段支持最长 100 万 Token。
这是百度第一次把「Flash」这条高效线的基座模型完整开放。对国内开发者来说意义不小——之前想基于国产大厂基座做二次训练,可选项基本只有 Qwen 和 DeepSeek,现在多了一个 2800 亿参数的选项。
它到底强在哪:官方给的基准结果
按照百度的说法,文心 5.5 Flash Base 在知识、推理、数学、代码、多语言、长上下文等多个基准上,取得了同尺寸模型的 SOTA,明确超过三个对标对象:DeepSeek-V4-Flash-Base、腾讯 Hy3-preview-Base、小米 MiMo-V2.5-Base。
注意这里的关键限定词是「同尺寸」和「Base」。Base 模型是预训练完的底座,不是能直接聊天的成品——它没有经过指令微调和对齐,你拿它问「帮我写个周报」大概率会得到一段续写而不是答案。它的正确用法是被微调,这也决定了它的评分不能和指令模型直接比。
架构上的三个真创新
这次技术报告里值得单独拎出来的有三个点,都不是简单堆参数:
- Latent-Gated Sparse Attention:把混合稀疏注意力、低秩门控注意力和虚拟头注意力组合起来。HCA 负责压缩历史信息、MLA 负责细粒度访问历史位置;低秩门控注意力用已有的低维表示算信息门控,让门控投影的权重参数减少 75%;虚拟头注意力提升表达力和训练质量,推理时直接融进注意力算子,几乎不增加开销。
- Multi-Router Latent MoE:用多个独立路由器共同参与专家选择,改善「路由评分」和「专家实际效用」之间的相关性。相比单一路由器,能降低单一评分偏差的影响,同时保持激活专家数、计算量和通信量不变——等于白拿的稳定性。
- ECHO 训练目标:不需要额外加 MTP(多 Token 预测)模块,直接复用主干的最后一层,让主干自己学着预测后续 token,提前规划序列走向。只做单步 ECHO 预训练,复用的那层还能当投机解码的草稿模型用,多步起草质量明显好于外挂 MTP 模块。
工程侧还有两个配套:分布式 Muon 优化器做了针对性优化,以及面向大 head dim 的注意力算子 FlashMask-4,主要改善大规模训练时的通信、显存和计算效率。这些东西不会出现在跑分表上,但直接决定训练能不能跑完。
和同价位模型横向对比
下面这张表把文心 5.5 Flash Base 和几个常被放在一起比较的模型摆在一起。要提醒的是:表格里的其他几款大多是已经过指令微调的可用模型,能力口径不完全一致,评分也来自各自的评测文章,看趋势别看绝对值。
| 模型 | 参数规模 | 核心定位 | 本站评分 |
|---|---|---|---|
| 文心 5.5 Flash Base | 2800 亿总参 / 140 亿激活 | 开源基座,供二次微调 | 8.7 |
| DeepSeek V4 Pro | MoE,未公开总量 | 1M 上下文旗舰,平民价格 | 8.9 |
| 腾讯混元 Hy4 | MoE,1M 上下文 | Agent 能力强,0.42 美元/百万 Token | 8.7 |
| Qwen3.8 2.4T A95B | 2.4 万亿总参 / 950 亿激活 | 开源权重旗舰,生态最全 | 8.8 |
| 小米 MiMo V2.6 | 未公开 | 百万上下文三档定价 | 8.5 |
| GLM 5.3 FlashX | 未公开 | 高速多模态,200 token/秒 | 8.6 |
结论很清楚:文心 5.5 Flash Base 的位置是「开源基座里的高效选项」。它的优势不是碾压谁,而是 140 亿激活就能打出同尺寸 SOTA——这对要自建私有模型的团队是实打实的成本优势,推理时只激活一小部分专家,显存和延迟都比全参激活友好得多。
局限:这是基座,不是产品
- 不能开箱对话:没有指令微调和 RLHF,直接部署只能做续写。要做成对话产品,得自己准备数据做 SFT,这部分人力和算力成本要算进去。
- 评测口径不统一:「同尺寸 SOTA」的说法基于百度自己的基准组合,第三方复现结果还没出来。官方点名的三个对手都是各自家族的 Flash/Base 版本,横向比较要看具体任务。
- 中文长文本是卖点也是未知数:1M 上下文在微调/推理阶段支持,但超长上下文的实际召回质量需要自己验证,官方没给长文本压力的细项数据。
- 生态刚起步:Qwen 和 DeepSeek 的开源社区工具链、量化版本、微调脚本已经很成熟,文心这套还要等社区补齐。
综合评分
| 维度 | 评分 | 评价 |
|---|---|---|
| 功能完整度 | 8.8 / 10 | 2800 亿 MoE + 128K 预训练 + 1M 微调上下文,基座该有的都有 |
| 易用性 | 8.0 / 10 | 权重开放、HF 可直接拉取,但需要自行微调,非开箱即用 |
| 性价比 | 9.0 / 10 | 开源免费,140 亿激活意味着推理成本远低于同总参模型 |
| 中文支持 | 9.2 / 10 | 百度中文语料积累的老本行,中文知识和长文档是强项 |
| 输出质量 | 8.6 / 10 | 官方基准同尺寸 SOTA,但缺第三方复现,保守打分 |
综合评分:8.7 / 10
推荐给三类人:要做中文领域专模的企业(金融、法律、政务)、需要私有化部署又要控制推理成本的团队、以及想研究 MoE 稀疏注意力实现的研究者。只想找个能聊天的模型,请去看已经微调好的 DeepSeek V4 Pro 或 腾讯混元 Hy4。
常见问题(FAQ)
文心 5.5 Flash Base 免费吗?
权重免费开源,商用需要看 Hugging Face 上 baidu/ERNIE-5.5-Flash-Base 仓库附带的许可证条款。自己下载部署、自己出算力,就没有 API 费用。
本地部署需要什么配置?
2800 亿总参做全精度加载,显存需求在几十张卡的量级,个人设备基本不可能。实际生产一般用 INT4/INT8 量化,或者只跑多卡推理集群。140 亿激活降低了单次推理的计算量,但权重还是要放进显存或内存,这两件事别搞混。
它是 Base 模型,那能直接对话吗?
不能。Base 模型只完成了预训练,没有指令微调和对齐,直接问问题它会当成文本续写。要变成能对话的模型,得自己准备指令数据做 SFT,复杂场景还要做偏好对齐。
和 DeepSeek V4 Flash Base 哪个好?
官方基准里文心 5.5 Flash Base 明确超过了 DeepSeek-V4-Flash-Base,但这是百度自己组的评测集。实际选型建议用自己的业务数据各跑一轮微调再比,尤其是中文长文档和代码任务这两块,差距通常跟跑分不完全一致。
1M 上下文是真的吗?
预训练阶段是 128K,微调和推理阶段支持扩到 100 万 Token。这意味着 1M 上下文需要你在微调时显式处理长度外推,不是直接就能用满,实际召回质量也要自己压测。
总结
文心 5.5 Flash Base 是百度在开源基座这条路上一次认真的出手:用 140 亿激活去对标别人更大的激活量,赌的是效率路线。它不会立刻改变普通用户用什么聊天,但会给做私有化模型的企业多一个性价比选项——而这一块,恰好是国产模型最现实的战场。
想继续对比国产开源模型的实际表现,看我们的 评测列表 和 AI 模型库,也可以用 工具对比引擎 按参数和价格筛选。相关阅读:Qwen3.8 2.4T A95B 评测 · Kimi K3.1 Pro 评测 · Particle-1 评测。
