Baseten 在 10 月 29 日发布了 joey-1，一个 2B 的开放权重「决策模型」。它不生成文字，只输出一个标签和一个经过校准的置信度分数；平均 2000 token 的请求在真实生产负载下 P50 端到端延迟 20 毫秒，价格 每百万 token 一美分。权重已开放在 Hugging Face，API 在 Baseten 上直接可用。
这类模型解决的是一个被长期忽视的浪费：很多 LLM 调用根本不需要写文章，只需要做一个判断——这条工单属于哪个类别、这个用户是不是要流失、这个请求该不该拦截。用生成式模型做判断题，等于每次都付一整段文字的钱和延迟。
core competencies
- 单次前向直出决策：返回标签 + 校准概率，不需要解码一段文字，成本与延迟同时下降
- 20ms P50（2000 token 平均请求）：官方称比同门 elephant-1（49ms）快约 2.5 倍，比同类决策模型快约 5 倍
- 每百万 token 0.01 美元：是 27B 的 mammoth-1 的十分之一
- multimodal input：文本和图像都能吃
- 三档同族：joey-1（2B）、elephant-1（9B）、mammoth-1（27B）同一套训练数据、同一个 API，切换只改一行模型名
- Open Weights：可在 Hugging Face 下载，支持自托管
官方给的成本例子很有说服力：一个月分类 1000 万条客服工单、每条约 500 token，合计 50 亿 token——在 joey-1 上约 50 美元/月，在同一家的 mammoth-1 上约 500 美元/月。差了 10 倍。
User experience/limitations
先说优势的实质：它不是”更小的聊天模型”，而是换了输出形态的专用模型。判断类任务的最大痛点是”每次调用都要把整条链路拖慢”，而这类模型把决策压到单 token、20ms 级别，意味着你可以把它当成一个同步函数放在请求路径上，而不是异步任务。对于需要在主链路里做拦截、路由、打标的系统，这个差别是数量级的。
三档同族的”升级路径”设计也值得肯定。先用便宜的 joey-1 兜住 90% 的高频判断，只在置信度低时才升级到 elephant-1 或 mammoth-1，这是一套很标准的成本分层架构，而且切换成本几乎为零。
局限要说清楚三条：
- 只能做选择，不能解释：输出是标签+概率，要”为什么”就得另外调一个生成模型，链路复杂度还是回来了
- 中文场景缺乏公开验证：官方材料里没有中文评测数据，中文工单分类、中文意图识别的实际准确率需要自己用业务数据验
- 生态很新：Base Labs 一周前才发 27B/9B，本周补 2B，社区案例和踩坑记录几乎为零；自托管的量化、部署细节也缺少文档
还有一点容易被忽略：决策模型的”校准概率”必须配合阈值使用。概率不校准，你的自动路由规则就会频繁误判——上线前务必用真实数据画一次可靠性曲线，别直接拿 0.7 当阈值。
joey-1 与其他同类模型横向对比
| 模型 / 方案 | scale | Core Positioning | 价格（每百万 token 输入） | This Site’s Rating |
|---|---|---|---|---|
| joey-1 | 2B | 高频低延迟决策，单 token 输出 | $0.01 | 8.1 |
| elephant-1（同门） | 9B | 均衡默认档，决策准确率更高 | 约 $0.03 级 | — |
| mammoth-1（同门） | 27B | 准确率优先，决策模型旗舰 | $0.10 | — |
| OpenAI Decisions API | Unreleased | 闭源决策模型，延迟约 100ms | 按调用计价 | 8.0 |
| Particle-1 | Unreleased | 省 Token 的编程 Agent 模型 | $0.25 | 8.3 |
| GPT-6.1 Terra | Unreleased | 通用旗舰，电脑操作 | $1.00 | 8.7 |
坐标系很清楚：joey-1 在”每毫秒每分钱能换多少判断”这个维度上几乎没有对手（20ms + 一美分），但在”通用能力”上完全不能和旗舰模型比。它和 GPT-6.1 Terra 不是替代关系，是分工关系——Terra 做需要理解和生成的那部分，joey-1 做剩下那些又碎又多的判断。真正对标的是 OpenAI 的 Decisions API，而 joey-1 的优势在开放权重和 5 倍延迟。
Overall Score
| 维度 | Score | evaluate |
|---|---|---|
| functional completeness | 7.8 / 10 | 只做决策不给解释，需搭配生成模型才能闭环 |
| 易用性 | 8.6 / 10 | 同族一行切换、开放权重、API 直接可用；文档偏薄 |
| Cost-effectiveness | 9.5 / 10 | 每百万 token 一分钱、20ms 延迟，高频场景成本优势巨大 |
| 中文支持 | 7.0 / 10 | 无公开中文评测，需自行用业务数据验证 |
| 输出质量 | 8.0 / 10 | 官方称 3B 以内最强，但缺第三方复现 |
Overall rating: 8.1/10
评分偏保守的原因：数据全部来自官方材料，没有第三方基准复现，中文能力也是空白。如果后续有独立评测证实”3B 以内最强”并且中文可用，分数应该更高。
Frequently Asked Questions (FAQ)
joey-1 免费吗？
不是免费，但极便宜：Baseten API 上每百万输入 token 一美分。权重开放在 Hugging Face，自己部署只需付算力成本。
How does a decision model differ from a standard large language model?
普通大模型生成文本，你从文本里解析出答案；决策模型一次前向直接输出标签和置信度，不生成文字，所以延迟和成本低一到两个数量级，代价是不能解释理由。
支持中文吗？
官方未公布中文评测数据。模型接受文本和图像输入，理论上支持多语言，但中文分类/意图识别的实际准确率需要用自己的业务数据跑一遍验证，别直接上线。
What hardware configuration is required for local deployment?
2B 参数，量化后单张消费级显卡即可运行，CPU 推理在中低并发下也可行。官方主推的是 Baseten 托管 API，自托管的部署文档目前较少。
joey-1 和 mammoth-1 该选哪个？
按量级和高频程度选：判断量大、对延迟敏感、允许少量误差 → joey-1；准确率优先、调用量不大 → mammoth-1；两者之间用 elephant-1。三者同 API，可以按置信度做升级路由。
Summarize
joey-1 的价值不在”又一个小模型”，而在把决策从生成里剥离出来：一美分一百万个 token、20 毫秒返回，让”每次都调模型做判断”第一次在经济上成立。适合已经在跑分类、路由、风控、内容审核的团队——先拿一条业务线做 A/B，对比生成式方案的成本和延迟，差距会非常直观。中文场景记得自己验准确率。
想看更多模型的真实性价比对比？浏览 AI Model Library and Tool Comparison Engineor continue reading:OpenAI Decisions API Now Generally Available · Particle-1 评测 · Recursive Flint benchmark · MiniMax M3 Evaluation.