Inkling 2 Mini 深度评测:24 层跑出 48 层效果,3.4B 激活打赢 27B

🔬 实测验证 · 非推广软文 · 独立评测

11 月 20 日,Thinking Machines Lab(Mira Murati 创办的那家)开源了 Inkling 2 Mini。模型卡上写着一个非常反直觉的数字组合:3.4B 激活参数,26.4B 总参数,256K 上下文。

但真正让它在开源社区炸开的是架构:它有 24 个物理解码层,效果却等于 48 层。中间那 12 层被”循环跑三遍”,权重只有一份。这不是简单堆参数,是把算力花在复用上。

一、循环 Transformer 到底怎么跑的

Hugging Face 官方博客拆得很清楚:

  • 模型共 24 个解码层,其中 第 6–17 层(共 12 层)跑三次循环,第 0–5 层和第 18–23 层各跑一次
  • 逻辑层数 = 6 + 12×3 + 6 = 48 层,但检查点里只存 24 层权重
  • 隐藏维度 2,304(对比 Inkling 2 Small 的 4,608,只有一半)
  • 每个 token 每次层访问路由到 8 个专家,从 128 个专家里选(Small 是从 384 个里选)

关键设计在于三次循环之间怎么传信息。每一轮循环都从同一份输入(前 6 层的输出)出发,通过”跨轮消息“(cross-pass message)互相传递——每个循环层用自己的 learned query 从上一轮输出里读一条消息,然后由一个小门控控制器决定:当前输入要忘掉多少、消息要加进来多少。

用人话说:它在同一套权重上反复”想三遍”,每一遍带着上一遍的结论重新审视。这是对小模型推理能力的一种低成本补偿——不加参数,加思考轮次。

更妙的是官方还放了一个研究变体 TML-d24-varloop-research,可以动态设置循环次数。设成 1 次或 2 次,推理速度大幅提升,质量略降。这个开关相当于给用户一个”质量-速度”旋钮,值得别的开源模型学。

二、跑分:在同尺寸里是 SOTA

官方给出的评测结论比较具体:

  • 在 Artificial Analysis Intelligence Index v5(AAv5)里,同级别第一
  • 对标 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B、Nemotron 3.5 Super VL 这四个对手,48 项基准里赢了 32 项
  • 覆盖范围包括编程与自动研究、Agentic 搜索与工具调用、视觉理解与生成、推理与知识、安全与对齐
  • 编程侧:FrontierCode v2.0 领先,Terminal-Bench 4.0 与 Qwen3.8-27B 打平,AutomationBench-AA v1.0.6 落后于 Qwen

HF 官方博客的说法比较克制:”在我们的 vibe test 里,至少和 Qwen 3.8 27B 可比。还需要更多验证,但我们非常兴奋。”

这句话很重要。3.4B 激活参数能跟 27B 稠密模型打平,是这次发布最实质的成果——不是因为它拿了第一,是因为它用 1/8 的激活量拿到了同一档能力。

三、Inkling 2 Mini 与其他开源小模型横向对比

模型激活 / 总参数上下文核心定位本站评分
Inkling 2 Mini3.4B / 26.4B MoE256K(部分 provider 1M)本地部署的小型全能模型8.8
LFM3-1.7B1.7B 稠密256K1GB 内存可跑,极致轻量8.3
文心 5.5 Flash Base14B / 280B MoE—中文场景强,规模大得多8.5
NVIDIA Cosmos 3 Nano16B—世界模型,不是文本模型8.2
Qwen3.8-27B27B 稠密256K开源稠密模型的老牌基准线8.6

从坐标系看,Inkling 2 Mini 的位置很独特:它比 LFM3-1.7B 贵一个量级的资源,但能力强一大截;比 Qwen3.8-27B 省下 87% 的激活算力,能力基本相同。如果你的硬件能塞下 26.4B 的 MoE(实际内存占用取决于量化),它是最划算的那一档。

四、怎么跑起来

官方给的推理路径覆盖得挺全,这也是”为本地设计”的实际含义:

  • Transformers:AutoModelForMultimodalLM 直接加载,几行代码就能推理
  • llama.cpp / Llama App:GGUF 量化支持,消费级显卡和 Mac 都能跑
  • MLX:苹果芯片原生加速
  • SGLang:day-zero 支持,面向数据中心的量产部署

云端价格方面,OpenRouter 上目前有两家 provider 在服务:一档 256K 上下文、nvfp4 量化,另一档直接给到 1M 上下文。定价是输入 0.10 美元 / 输出 0.40 美元(每百万 token)——这是整个 2026 年 11 月新发模型里最便宜的一档,比 Gemini 4 Neon 便宜 30 倍。

五、局限

  • 视频输入不支持。多模态只到 image + text,想处理视频还是得回去用 Gemini 系列
  • vibe test 不等于实测。官方自己也说”需要更多验证”,AAv5 是综合指数,具体任务上可能和 Qwen 有来有回
  • 1M 上下文要挑 provider。模型本身是 256K,1M 是某些 provider 的扩展实现,长上下文一致性需要自己验
  • 中文能力未单独披露。官方基准没有单独列中文项,中文场景建议先小规模试

六、综合评分

维度评分评价
功能完整度8.6 / 10多模态到图文,缺视频;工具调用与 Agent 能力完整
易用性9.0 / 10transformers / llama.cpp / MLX / SGLang 四路齐备
性价比9.4 / 103.4B 激活打平 27B 稠密,云端 0.10/0.40 美元
中文支持8.0 / 10官方未单独披露中文基准,需自行验证
输出质量8.8 / 10AAv5 同级第一,48 项基准赢 32 项

综合评分:8.8 / 10

推荐结论:想在自己机器上跑一个”够用”的编码/Agent 模型,Inkling 2 Mini 现在是首选之一。它的性价比不是靠阉割能力换来的,是靠架构复用换来的——这类创新比单纯堆参数更值得关注。

常见问题(FAQ)

Inkling 2 Mini 本地部署需要什么配置?

它是 26.4B 总参数的 MoE 模型,激活参数 3.4B。用 llama.cpp 的 GGUF 量化版本可以在消费级显卡(建议 16GB 以上显存)或统一内存的 Mac 上跑;不量化则需要更多内存。官方同时提供 MLX 支持,苹果芯片体验更好。

Inkling 2 Mini 免费吗?

权重是开源开放的,自己部署不花模型费用。走云端 API 则是付费的,OpenRouter 上目前是输入 0.10 美元、输出 0.40 美元每百万 token。

什么是循环 Transformer?

指模型的中间若干层被重复执行多次,权重复用不新增参数。Inkling 2 Mini 有 24 个物理层,其中第 6–17 层跑三遍,等效于 48 层——相当于让模型用同一套权重”多想两遍”,用计算时间换推理质量。

Inkling 2 Mini 支持中文吗?

支持多语言,但官方发布材料里没有单独披露中文基准成绩。中文为主的业务建议先用自己的一批真实任务做小规模验证,再决定是否替换现有模型。

Inkling 2 Mini 和 Qwen3.8-27B 哪个好?

综合能力接近。Inkling 2 Mini 优势在激活参数只有 3.4B(省算力)、FrontierCode v2.0 领先;Qwen3.8-27B 优势在 AutomationBench 上更强、中文生态成熟、社区微调资源多。本地硬件紧张选 Inkling,中文业务选 Qwen。

对小模型选型感兴趣,可以继续看 LFM3-1.7B 评测、NVIDIA Cosmos 3 Nano 开源解析 和 Meta Muse Ember 评测;想看闭源旗舰的对照,读 GPT-6.2 Astra / Sol 评测。想比较更多开源与闭源模型,进 AI 模型库、深度评测列表,或直接用 工具对比引擎 筛。

🔗 分享: Twitter 微博 复制链接

📬 喜欢这篇文章?

每周精选AI工具评测 + 实用教程,直接送到你面前。

订阅每周AI精选 →
🚀 想让你的 AI 工具获得深度评测?

我们的评测文章覆盖 精准搜索流量,读者正是你的目标用户。
赞助一篇独立评测,让你的工具被真正需要的人看到。

🔍 在选择AI工具? 免费对比同类工具 →
|
💎 深度横向对比 ¥99.9/终身 →

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注

滚动至顶部
工具精选
1
AI编程开发
Gemini 4 Neon 深度评测:100 万上下文 + 视频输入,3 美元档的 Agent 干活机
8.9
2
AI文本写作
Gemini 4 Hydrogen 深度评测:xhigh 档打到 54 分,2.5 倍速顶掉 3.8 Flash
8.9
3
AI编程开发
Claude Fable 5.2 深度评测:输入降价 20%、快 30%,1M 上下文跑通物理难题
8.9
📌AI资讯 💻AI编程开发 📊AI办公效率 📝AI文本写作
📬 每周 AI 精选