Inkling 2 Mini 深度评测:24 层跑出 48 层效果,3.4B 激活打赢 27B

🔬 Actual test verification · Non-promotional soft article · Independent evaluation

11 月 20 日,Thinking Machines Lab(Mira Murati 创办的那家)开源了 Inkling 2 Mini。模型卡上写着一个非常反直觉的数字组合:3.4B 激活参数,26.4B 总参数,256K 上下文.

但真正让它在开源社区炸开的是架构:它有 24 个物理解码层,效果却等于 48 层。中间那 12 层被”循环跑三遍”,权重只有一份。这不是简单堆参数,是把算力花在复用上。

一、循环 Transformer 到底怎么跑的

Hugging Face 官方博客拆得很清楚:

  • 模型共 24 个解码层,其中 第 6–17 层(共 12 层)跑三次循环,第 0–5 层和第 18–23 层各跑一次
  • 逻辑层数 = 6 + 12×3 + 6 = 48 层,但检查点里只存 24 层权重
  • 隐藏维度 2,304(对比 Inkling 2 Small 的 4,608,只有一半)
  • 每个 token 每次层访问路由到 8 个专家,从 128 个专家里选(Small 是从 384 个里选)

关键设计在于三次循环之间怎么传信息。每一轮循环都从同一份输入(前 6 层的输出)出发,通过”跨轮消息“(cross-pass message)互相传递——每个循环层用自己的 learned query 从上一轮输出里读一条消息,然后由一个小门控控制器决定:当前输入要忘掉多少、消息要加进来多少。

用人话说:它在同一套权重上反复”想三遍”,每一遍带着上一遍的结论重新审视。这是对小模型推理能力的一种低成本补偿——不加参数,加思考轮次。

更妙的是官方还放了一个研究变体 TML-d24-varloop-research,可以动态设置循环次数。设成 1 次或 2 次,推理速度大幅提升,质量略降。这个开关相当于给用户一个”质量-速度”旋钮,值得别的开源模型学。

二、跑分:在同尺寸里是 SOTA

官方给出的评测结论比较具体:

  • 在 Artificial Analysis Intelligence Index v5(AAv5)里,同级别第一
  • 对标 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B、Nemotron 3.5 Super VL 这四个对手,48 项基准里赢了 32 项
  • 覆盖范围包括编程与自动研究、Agentic 搜索与工具调用、视觉理解与生成、推理与知识、安全与对齐
  • 编程侧:FrontierCode v2.0 领先,Terminal-Bench 4.0 与 Qwen3.8-27B 打平,AutomationBench-AA v1.0.6 落后于 Qwen

HF 官方博客的说法比较克制:”在我们的 vibe test 里,至少和 Qwen 3.8 27B 可比。还需要更多验证,但我们非常兴奋。”

这句话很重要。3.4B 激活参数能跟 27B 稠密模型打平,是这次发布最实质的成果——不是因为它拿了第一,是因为它用 1/8 的激活量拿到了同一档能力。

三、Inkling 2 Mini 与其他开源小模型横向对比

Model激活 / 总参数contextCore PositioningThis Site’s Rating
Inkling 2 Mini3.4B / 26.4B MoE256K(部分 provider 1M)本地部署的小型全能模型8.8
LFM3-1.7B1.7B 稠密256K1GB 内存可跑,极致轻量8.3
Wenxin 5.5 Flash Base14B / 280B MoE—中文场景强,规模大得多8.5
NVIDIA Cosmos 3 Nano16B—世界模型,不是文本模型8.2
Qwen3.8-27B27B 稠密256K开源稠密模型的老牌基准线8.6

从坐标系看,Inkling 2 Mini 的位置很独特:它比 LFM3-1.7B 贵一个量级的资源,但能力强一大截;比 Qwen3.8-27B 省下 87% 的激活算力,能力基本相同。如果你的硬件能塞下 26.4B 的 MoE(实际内存占用取决于量化),它是最划算的那一档。

四、怎么跑起来

官方给的推理路径覆盖得挺全,这也是”为本地设计”的实际含义:

  • Transformers:AutoModelForMultimodalLM 直接加载,几行代码就能推理
  • llama.cpp / Llama App:GGUF 量化支持,消费级显卡和 Mac 都能跑
  • MLX:苹果芯片原生加速
  • SGLang:day-zero 支持,面向数据中心的量产部署

云端价格方面,OpenRouter 上目前有两家 provider 在服务:一档 256K 上下文、nvfp4 量化,另一档直接给到 1M 上下文。定价是输入 0.10 美元 / 输出 0.40 美元(每百万 token)——这是整个 2026 年 11 月新发模型里最便宜的一档,比 Gemini 4 Neon 便宜 30 倍。

五、局限

  • 视频输入不支持。多模态只到 image + text,想处理视频还是得回去用 Gemini 系列
  • vibe test 不等于实测。官方自己也说”需要更多验证”,AAv5 是综合指数,具体任务上可能和 Qwen 有来有回
  • 1M 上下文要挑 provider。模型本身是 256K,1M 是某些 provider 的扩展实现,长上下文一致性需要自己验
  • 中文能力未单独披露。官方基准没有单独列中文项,中文场景建议先小规模试

六、综合评分

维度Scoreevaluate
functional completeness8.6 / 10多模态到图文,缺视频;工具调用与 Agent 能力完整
易用性9.0 / 10transformers / llama.cpp / MLX / SGLang 四路齐备
Cost-effectiveness9.4 / 103.4B 激活打平 27B 稠密,云端 0.10/0.40 美元
中文支持8.0 / 10官方未单独披露中文基准,需自行验证
输出质量8.8 / 10AAv5 同级第一,48 项基准赢 32 项

Overall rating: 8.8/10

推荐结论:想在自己机器上跑一个”够用”的编码/Agent 模型,Inkling 2 Mini 现在是首选之一。它的性价比不是靠阉割能力换来的,是靠架构复用换来的——这类创新比单纯堆参数更值得关注。

Frequently Asked Questions (FAQ)

Inkling 2 Mini 本地部署需要什么配置?

它是 26.4B 总参数的 MoE 模型,激活参数 3.4B。用 llama.cpp 的 GGUF 量化版本可以在消费级显卡(建议 16GB 以上显存)或统一内存的 Mac 上跑;不量化则需要更多内存。官方同时提供 MLX 支持,苹果芯片体验更好。

Inkling 2 Mini 免费吗?

权重是开源开放的,自己部署不花模型费用。走云端 API 则是付费的,OpenRouter 上目前是输入 0.10 美元、输出 0.40 美元每百万 token。

什么是循环 Transformer?

指模型的中间若干层被重复执行多次,权重复用不新增参数。Inkling 2 Mini 有 24 个物理层,其中第 6–17 层跑三遍,等效于 48 层——相当于让模型用同一套权重”多想两遍”,用计算时间换推理质量。

Inkling 2 Mini 支持中文吗?

支持多语言,但官方发布材料里没有单独披露中文基准成绩。中文为主的业务建议先用自己的一批真实任务做小规模验证,再决定是否替换现有模型。

Inkling 2 Mini 和 Qwen3.8-27B 哪个好?

综合能力接近。Inkling 2 Mini 优势在激活参数只有 3.4B(省算力)、FrontierCode v2.0 领先;Qwen3.8-27B 优势在 AutomationBench 上更强、中文生态成熟、社区微调资源多。本地硬件紧张选 Inkling,中文业务选 Qwen。

对小模型选型感兴趣,可以继续看 LFM3-1.7B 评测,NVIDIA Cosmos 3 Nano 开源解析 and Meta Muse Ember 评测;想看闭源旗舰的对照,读 GPT-6.2 Astra / Sol 评测。想比较更多开源与闭源模型,进 AI Model Library,Four actionable countermeasures,或直接用 Tool Comparison Engine 筛。

🔗 Share: Twitter Weibo Copy link

📬 Like this article?

Weekly selected AI tool reviews + practical tutorials, delivered directly to you.

Subscribe to the weekly AI picks →
🚀 Want in-depth reviews of your AI tools?

Our review articles cover Precise search traffic— readers are exactly your target users.
Sponsor an independent review to get your tool seen by people who truly need it.

🔍 Choosing an AI tool? Compare similar tools for free →
|
💎 In-depth side-by-side comparisons ¥99.9 for lifetime access →

Leave a Comment

Your email address will not be published. Required fields are marked *

Scroll to Top
Tool Picks
1
AI Coding
Gemini 4 Neon 深度评测:100 万上下文 + 视频输入,3 美元档的 Agent 干活机
8.9
2
AI Writing
Gemini 4 Hydrogen 深度评测:xhigh 档打到 54 分,2.5 倍速顶掉 3.8 Flash
8.9
3
AI Coding
Claude Fable 5.2 deep review: 20% cheaper input pricing, 30% faster inference, and 1M-context capability validated on physics problems
8.9
📌AI News 💻AI Coding 📊AI Productivity 📝AI Writing
📬 Weekly AI Picks