Sakana Fugu Ultra in-depth review: Japanese AI orchestration system, SWE-Bench Pro scores 73.7 to challenge cutting-edge models

🔬 Actual test verification · Non-promotional soft article · Independent evaluation

日本AI实验室Sakana AI于6月22日正式发布了其最新产品Fugu和Fugu Ultra——这不是一个传统的大语言模型,而是一个多智能体编排系统。它通过单一API接口,动态调度一个由多个前沿模型组成的”智能体池”,为复杂任务自动选择最佳执行策略。Fugu Ultra在SWE-Bench Pro编程基准上取得了73.7分,Sakana AI声称其性能已可媲美Anthropic的Mythos和Fable 5级别模型。

core competencies

Fugu的核心创新在于它的“编排即模型”架构。用户只需发送一个请求到单一端点,Fugu内部会自动判断:是直接回答简单问题,还是组建一个”专家团队”来处理复杂任务。整个过程对开发者完全透明。

  • 多模型动态调度:Fugu本身是一个训练有素的语言模型,专门学习如何调用其他LLM,包括递归调用自身实例
  • 双版本设计:Fugu(基础版)和Fugu Ultra(旗舰版),通过同一个OpenAI兼容API访问
  • 可替换的智能体池:底层的”专家模型池”完全可替换,Sakana计划未来加入开源模型和自研模型
  • 基准表现突出:Fugu Ultra在SWE-Bench Pro取得73.7分,TerminalBench 2.1取得82.1分,超过GPT-5.5和Claude Opus 4.8

User experience and limitations

从早期用户反馈来看,Fugu Ultra的能力确实令人印象深刻,尤其在编程和科学推理任务上表现突出。Sakana AI在它的产品页面上展示了Fugu Ultra在超参数优化任务中持续超越GPT-5.5、Gemini 3.1 Pro和Claude Opus 4.8的实验结果。

但Fugu也有明显的短板:API响应速度较慢——因为它内部需要调度多个模型协同工作,简单查询也有约1260 token的固定编排开销,复杂查询的总token消耗可达可见输出的5到12倍。定价方面,Fugu Ultra每月200美元,有用户调侃”花了200美元,每周实际使用不到3小时”。此外,目前不支持欧盟和欧洲经济区的访问。

Overall Score

维度Scoreevaluate
functional completeness8.5 / 10多智能体编排架构独特,但目前可用的专家模型池范围有限
易用性8.0 / 10单一API接口降低集成难度,但响应速度较慢影响体验
Cost-effectiveness7.0 / 10200美元/月定价偏高,编排开销导致实际token成本是可见输出的5-12倍
中文支持7.5 / 10底层模型池包含多语言模型,但非中文原生优化
输出质量8.8 / 10编程和推理任务表现出色,SWE-Bench Pro 73.7分验证了其能力

Overall rating: 8.0/10

Summarize

Sakana Fugu代表了一种全新的AI产品范式——不再是”训练一个更强的模型”,而是“训练一个更聪明的调度员”。这种思路在技术上极具前瞻性,尤其适合那些需要灵活调用不同模型优势的复杂场景。但目前Fugu受限于响应速度和定价,更适合对成本不敏感、追求极致输出质量的专业开发者。随着底层智能体池的扩展和优化,Fugu的”编排即模型”理念有可能成为下一代AI基础设施的重要方向。

AI Dash — 发现最好用的AI工具,获取最新AI模型评测。

🔗 Share: Twitter Weibo Copy link

📬 Like this article?

Weekly selected AI tool reviews + practical tutorials, delivered directly to you.

Subscribe to the weekly AI picks →
📢 Want your AI tools to be seen by more people?

We are constantly looking for high-quality AI tools toIndependent in-depth review.
If your tool is worth recommending, please contact us for promotional cooperation.

Already 74 tools in our review library, covering 6 categories

Leave a Comment

Your email address will not be published. Required fields are marked *

Scroll to Top