2026年6月1日，在台北举行的GTC大会上，NVIDIA正式发布了Cosmos 3——全球首个完全开放的”全模态世界模型”（Omnimodal World Model）。这不是传统的大语言模型，也不是单纯的图像或视频生成器，而是一个能同时理解与生成文本、图像、视频、音频和动作轨迹的物理AI基础模型。黄仁勋表示：”Cosmos 3给了开发者建造机器人、自动驾驶汽车和视觉AI的代际飞跃。”
核心能力
Cosmos 3的核心突破在于其混合Transformer架构（Mixture-of-Transformers）——将推理Transformer与专家生成Transformer配对，使模型在生成之前先理解物体交互、运动和时空关系。它在一个包含数十亿条文本、图像、视频、声音和动作轨迹样本的庞大数据集上训练完成，为开发者提供了强大的预训练基础。
Cosmos 3可以同时充当四个角色：
- 视觉语言模型：理解物理场景并回答关于它们的问题
- 视频生成器：从文本或图像生成物理上真实的视频
- 世界模拟器：预测物体将如何移动和交互——可用于训练机器人
- 策略模型：为机器人和自动驾驶汽车规划行动路径
在基准测试方面，Cosmos 3在所有开源模型中排名第一，覆盖了Artificial Analysis、Physics-IQ、PAI-Bench、R-Bench等多个物理AI基准。同时推出了三个版本：Super（最强）、Nano（轻量）和即将发布的Edge（实时推理）。
Cosmos联盟与开放生态
随Cosmos 3一同发布的还有NVIDIA Cosmos Coalition——一个由Agile Robots、Black Forest Labs、Runway、Skild AI等组成的全球合作联盟，共同推进开放世界模型的发展。联盟成员可以贡献模型、研究和评估技术，同时使用DGX Cloud基础设施进行大规模训练。
NVIDIA同时更新了Cosmos平台，新增了机器人、物理、人体运动、自动驾驶、仓储安全和空间推理等领域的数据集，以及神经场景重建、缺陷图像生成和视频增强等物理AI智能体技能。这在行业内形成了一个从”数据→训练→评估”的完整生态闭环。
使用体验与局限
对于机器人开发者和自动驾驶工程师来说，Cosmos 3最大的价值在于将物理AI的训练和评估周期从数月压缩到数天。传统上，训练一个能理解物理世界的AI需要大量真实世界数据采集，成本高昂且周期漫长。Cosmos 3通过合成数据生成和世界模拟，从根本上改变了这一瓶颈。
但也要清醒认识到：Cosmos 3是开发者工具，不是面向普通消费者的产品。它的部署需要GPU集群（推荐NVIDIA DGX），学习和使用门槛不低。此外，物理AI仍处于早期阶段——即使最先进的世界模型，在复杂真实场景中的泛化能力仍有待验证。Cosmos 3的价值主要体现在研发加速而非直接部署。
综合评分
| 维度 | 评分 | 评价 |
|---|---|---|
| 功能完整度 | 9.0 / 10 | 全模态支持（文本+图像+视频+音频+动作），推理+生成一体化，覆盖面极广 |
| 易用性 | 6.5 / 10 | 定位为开发者底层工具，部署和调试门槛高，需专业工程团队支持 |
| 性价比 | 8.0 / 10 | 开源权重+DGX Cloud，相比从头训练节省大量成本；但硬件投入仍不小 |
| 中文支持 | 7.0 / 10 | 图文理解支持中文，但物理AI社区和文档主要英文，中文资料稀缺 |
| 输出质量 | 8.5 / 10 | 物理准确性和基准成绩均为开源第一，但真实场景仍有gap |
综合评分：7.8 / 10（对机器人/自动驾驶开发者而言价值极高；对普通用户不适用）
[AI Dash](https://aidashxp.com) — 发现最好用的AI工具