11 月 20 日,Thinking Machines Lab(Mira Murati 创办的那家)开源了 Inkling 2 Mini。模型卡上写着一个非常反直觉的数字组合:3.4B 激活参数,26.4B 总参数,256K 上下文.
但真正让它在开源社区炸开的是架构:它有 24 个物理解码层,效果却等于 48 层。中间那 12 层被”循环跑三遍”,权重只有一份。这不是简单堆参数,是把算力花在复用上。
一、循环 Transformer 到底怎么跑的
Hugging Face 官方博客拆得很清楚:
- 模型共 24 个解码层,其中 第 6–17 层(共 12 层)跑三次循环,第 0–5 层和第 18–23 层各跑一次
- 逻辑层数 = 6 + 12×3 + 6 = 48 层,但检查点里只存 24 层权重
- 隐藏维度 2,304(对比 Inkling 2 Small 的 4,608,只有一半)
- 每个 token 每次层访问路由到 8 个专家,从 128 个专家里选(Small 是从 384 个里选)
关键设计在于三次循环之间怎么传信息。每一轮循环都从同一份输入(前 6 层的输出)出发,通过”跨轮消息“(cross-pass message)互相传递——每个循环层用自己的 learned query 从上一轮输出里读一条消息,然后由一个小门控控制器决定:当前输入要忘掉多少、消息要加进来多少。
用人话说:它在同一套权重上反复”想三遍”,每一遍带着上一遍的结论重新审视。这是对小模型推理能力的一种低成本补偿——不加参数,加思考轮次。
更妙的是官方还放了一个研究变体 TML-d24-varloop-research,可以动态设置循环次数。设成 1 次或 2 次,推理速度大幅提升,质量略降。这个开关相当于给用户一个”质量-速度”旋钮,值得别的开源模型学。
二、跑分:在同尺寸里是 SOTA
官方给出的评测结论比较具体:
- 在 Artificial Analysis Intelligence Index v5(AAv5)里,同级别第一
- 对标 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B、Nemotron 3.5 Super VL 这四个对手,48 项基准里赢了 32 项
- 覆盖范围包括编程与自动研究、Agentic 搜索与工具调用、视觉理解与生成、推理与知识、安全与对齐
- 编程侧:FrontierCode v2.0 领先,Terminal-Bench 4.0 与 Qwen3.8-27B 打平,AutomationBench-AA v1.0.6 落后于 Qwen
HF 官方博客的说法比较克制:”在我们的 vibe test 里,至少和 Qwen 3.8 27B 可比。还需要更多验证,但我们非常兴奋。”
这句话很重要。3.4B 激活参数能跟 27B 稠密模型打平,是这次发布最实质的成果——不是因为它拿了第一,是因为它用 1/8 的激活量拿到了同一档能力。
三、Inkling 2 Mini 与其他开源小模型横向对比
| Model | 激活 / 总参数 | context | Core Positioning | This Site’s Rating |
|---|---|---|---|---|
| Inkling 2 Mini | 3.4B / 26.4B MoE | 256K(部分 provider 1M) | 本地部署的小型全能模型 | 8.8 |
| LFM3-1.7B | 1.7B 稠密 | 256K | 1GB 内存可跑,极致轻量 | 8.3 |
| Wenxin 5.5 Flash Base | 14B / 280B MoE | — | 中文场景强,规模大得多 | 8.5 |
| NVIDIA Cosmos 3 Nano | 16B | — | 世界模型,不是文本模型 | 8.2 |
| Qwen3.8-27B | 27B 稠密 | 256K | 开源稠密模型的老牌基准线 | 8.6 |
从坐标系看,Inkling 2 Mini 的位置很独特:它比 LFM3-1.7B 贵一个量级的资源,但能力强一大截;比 Qwen3.8-27B 省下 87% 的激活算力,能力基本相同。如果你的硬件能塞下 26.4B 的 MoE(实际内存占用取决于量化),它是最划算的那一档。
四、怎么跑起来
官方给的推理路径覆盖得挺全,这也是”为本地设计”的实际含义:
- Transformers:
AutoModelForMultimodalLM直接加载,几行代码就能推理 - llama.cpp / Llama App:GGUF 量化支持,消费级显卡和 Mac 都能跑
- MLX:苹果芯片原生加速
- SGLang:day-zero 支持,面向数据中心的量产部署
云端价格方面,OpenRouter 上目前有两家 provider 在服务:一档 256K 上下文、nvfp4 量化,另一档直接给到 1M 上下文。定价是输入 0.10 美元 / 输出 0.40 美元(每百万 token)——这是整个 2026 年 11 月新发模型里最便宜的一档,比 Gemini 4 Neon 便宜 30 倍。
五、局限
- 视频输入不支持。多模态只到 image + text,想处理视频还是得回去用 Gemini 系列
- vibe test 不等于实测。官方自己也说”需要更多验证”,AAv5 是综合指数,具体任务上可能和 Qwen 有来有回
- 1M 上下文要挑 provider。模型本身是 256K,1M 是某些 provider 的扩展实现,长上下文一致性需要自己验
- 中文能力未单独披露。官方基准没有单独列中文项,中文场景建议先小规模试
六、综合评分
| 维度 | Score | evaluate |
|---|---|---|
| functional completeness | 8.6 / 10 | 多模态到图文,缺视频;工具调用与 Agent 能力完整 |
| 易用性 | 9.0 / 10 | transformers / llama.cpp / MLX / SGLang 四路齐备 |
| Cost-effectiveness | 9.4 / 10 | 3.4B 激活打平 27B 稠密,云端 0.10/0.40 美元 |
| 中文支持 | 8.0 / 10 | 官方未单独披露中文基准,需自行验证 |
| 输出质量 | 8.8 / 10 | AAv5 同级第一,48 项基准赢 32 项 |
Overall rating: 8.8/10
推荐结论:想在自己机器上跑一个”够用”的编码/Agent 模型,Inkling 2 Mini 现在是首选之一。它的性价比不是靠阉割能力换来的,是靠架构复用换来的——这类创新比单纯堆参数更值得关注。
Frequently Asked Questions (FAQ)
Inkling 2 Mini 本地部署需要什么配置?
它是 26.4B 总参数的 MoE 模型,激活参数 3.4B。用 llama.cpp 的 GGUF 量化版本可以在消费级显卡(建议 16GB 以上显存)或统一内存的 Mac 上跑;不量化则需要更多内存。官方同时提供 MLX 支持,苹果芯片体验更好。
Inkling 2 Mini 免费吗?
权重是开源开放的,自己部署不花模型费用。走云端 API 则是付费的,OpenRouter 上目前是输入 0.10 美元、输出 0.40 美元每百万 token。
什么是循环 Transformer?
指模型的中间若干层被重复执行多次,权重复用不新增参数。Inkling 2 Mini 有 24 个物理层,其中第 6–17 层跑三遍,等效于 48 层——相当于让模型用同一套权重”多想两遍”,用计算时间换推理质量。
Inkling 2 Mini 支持中文吗?
支持多语言,但官方发布材料里没有单独披露中文基准成绩。中文为主的业务建议先用自己的一批真实任务做小规模验证,再决定是否替换现有模型。
Inkling 2 Mini 和 Qwen3.8-27B 哪个好?
综合能力接近。Inkling 2 Mini 优势在激活参数只有 3.4B(省算力)、FrontierCode v2.0 领先;Qwen3.8-27B 优势在 AutomationBench 上更强、中文生态成熟、社区微调资源多。本地硬件紧张选 Inkling,中文业务选 Qwen。
对小模型选型感兴趣,可以继续看 LFM3-1.7B 评测,NVIDIA Cosmos 3 Nano 开源解析 and Meta Muse Ember 评测;想看闭源旗舰的对照,读 GPT-6.2 Astra / Sol 评测。想比较更多开源与闭源模型,进 AI Model Library,Four actionable countermeasures,或直接用 Tool Comparison Engine 筛。
