Voice AI has suddenly surged over the past month: Mistral launched Voxtral 3,ElevenLabs Realtime went live, and Salesforce unveiled Launa-Omni. Meanwhile, NVIDIA’s release on October 28 Nemotron 3.5 Transcribetakes a completely different approach—not competing on how human-like speech sounds, but on accuracy, cost-efficiency, and on-prem deployability for speech-to-text.
It is an open-weight, offline speech model with 34B parameters, support for 40 languages, and one-hour audio processing capability. For teams building meeting transcription, medical dictation, or customer service quality assurance tools, this is currently the most compelling offering in the open-source ecosystem.
What is Nemotron 3.5 Transcribe
This is the speech-specialized variant within the NVIDIA Nemotron 3.5 family, built upon the Nemotron 3.5 Lightning 30B base model. Its architecture features a Mamba-2–Transformer hybrid MoEplus a parallel expert encoder (Transformer ASR encoder + speaker encoder). Total parameters: 34B, but only approximately 4.3Bare activated per inference—including the audio encoder.
This MoE design directly defines its practical value: 34B capacity with 4.3B computational overhead. Officially certified for deployment on a single H100 80GB GPU, with BF16, FP8, and NVFP4 precision variants available. Licensed under OpenMDW-1.1, enabling commercial use.
Quick specs
| Item | Parameters |
|---|---|
| Total / Activated parameters | 34B / ~4.3B (including audio encoder) |
| Architecture | Mamba-2–Transformer hybrid MoE + parallel expert encoder |
| context | 65,536 tokens; supports audio up to 1 hour long |
| Language | 40 languages; speech translation supports 31 languages ↔ English |
| Precision variants | BF16 / FP8 / NVFP4 |
| Hardware requirements | 1× H100 80GB |
| Input/output | Audio + text → text, with optional word-level timestamps |
| License | OpenMDW-1.1 (Commercial Use Permitted) |
Core Capabilities: More Than Just “Speech-to-Text”
If it were merely an ASR model, supporting 40 languages would be unremarkable. What truly sets it apart is packing multiple independent tasks into a single model, with natural-language instructions to switch between them:
- Verbatim vs. Clean TranscriptionSame model—use instructions to control whether filler words, interjections, and repetitions are retained. Verbatim transcripts for subtitles; clean transcripts for meeting minutes—no need to switch models.
- Speaker-Attributed TranscriptionSupports up to 8 speakers, with speaker labels directly included in output. No external diarization module required for multi-speaker meetings.
- Rich TranscriptionPunctuation, paragraphing, and formatting are all generated automatically—output is immediately readable as a document.
- Speech TranslationBidirectional translation between English and 31 other languages—dual-language transcripts for Chinese-English meetings in a single pass.
- Language Identification and Code-SwitchingFor mixed Chinese-English speech, no pre-specified language is needed—the model detects language boundaries automatically.
- Audio Question AnsweringAsk questions directly about audio content—not just transcription.
- Configurable Inference ModeToggle in the chat template
enable_thinkingDisable during transcription (faster), enable during audio understanding (more accurate).
实测基准：赢了开源，但没赢所有
NVIDIA 在 10 月 12 日跑的数据，错误率单位为百分比，越低越好：
| ability | 基准 | 本模型 | 此前最好 |
|---|---|---|---|
| 英语 ASR | Open ASR Leaderboard（9 个公开集） | WER 4.71 | Qwen3-ASR-1.7B 4.94 |
| 长音频 ASR | Open ASR Leaderboard 长音频 | WER 10.98 | Parakeet-TDT-0.6B-v3 13.37 |
| 多语言 ASR | Multilingual Open ASR（7 语言） | WER 4.62 | Qwen3-ASR-1.7B 6.49 |
| 多说话人 | AMI/CALLHOME/Mixer 6 等均值 | cpWER 15.80 | DiCoW v3.3+DiariZen 16.83 |
| 风格控制 | Preference-ASR（默认/指令） | 7.56 / 6.16 | Canary-Qwen 8.16 / 8.36 |
几个值得注意的点：
长音频这一项赢得很漂亮（10.98 对 13.37），这是过去开源模型的传统弱项——一小时录音跑到后面就开始漂移、漏句。多语言 4.62 对 6.49 也是明显优势，说明它不是「英语好、其他语种凑数」的那种模型。
但多说话人这一项只赢了 1 个点（15.80 对 16.83）。也就是说，它集成了 diarization，但并没有强过专门的 diarization 方案组合。如果你的核心需求就是多人会议区分说话人，用不用它得实际测。
另外要看清楚：开放权重里最好，不等于市场上最好。闭源的 Gemini 3.8 Live 这类实时语音模型在对话场景完全是另一个量级，只是它做不了离线批量转写。两者不是替代关系。
性能：单卡每秒转 37 分钟音频
用 Nemotron Transcribe NIM 的优化 vLLM 实现，一块 RTX PRO 6000 Blackwell 服务器版 GPU，在 NVFP4 加 DFlash2 投机解码下，每秒能处理 2,238 秒音频——也就是单卡每秒转约 37 分钟录音。30 秒的录音，0.13 秒出稿。
但这里有个坑要提前说清楚：这些服务端优化目前没有进开源版本。NVIDIA 说后续会合入 NeMo Speech 和 vLLM。发布日随 NeMo Speech 一起出的 vLLM 集成是给模型开发用的，官方自己说大约慢一倍。
换句话说，那个「每秒 37 分钟」是 NIM 商业镜像的成绩，你自己 clone 下来跑，先按一半算。这个差距不小，值得写进采购评估里。
横向对比
| plan | 规格 | position | This Site’s Rating |
|---|---|---|---|
| Nemotron 3.5 Transcribe | 34B / 4.3B 激活，40 语言 | 开源离线转写全能选手 | 8.7 |
| Parakeet-TDT-0.6B-v3 | 0.6B，轻量 | 极致小体积，边缘设备 | — |
| Qwen3-ASR-1.7B | 1.7B | 英语/多语轻量基线 | — |
| Gemini 3.8 Live | 闭源，97 语言实时 | 实时对话，非离线转写 | 8.9 |
| Nemotron 3.5 Super VL | 120B 开源 | 同家族，视觉语言方向 | 8.5 |
| ElevenLabs | 闭源 API | 声音克隆与实时语音 | 9.0 |
坐标系很清楚：它是开源离线转写的天花板，和闭源实时语音模型（Gemini 3.8 Live,ElevenLabs）是两条平行赛道。选它是因为数据不能出内网、或者要处理海量录音批任务；不选它是因为你要的是实时对话。
limitations
- 不支持直播流：只处理已录制音频。实时字幕场景直接出局。
- 优化代码未开源：NIM 版本的性能优势拿不到，自建约慢一倍。
- H100 门槛：官方标注单卡 H100 80GB。FP8/NVFP4 版本能降门槛，但不是消费级显卡能碰的量级。
- 说话人上限 8 人：超过 8 人的大型会议需要外挂方案。
- 中文能力需实测：40 种语言里包含中文，但基准表里中文没有单列，官方数据以英语和多语均值为主。
Overall Score
| 维度 | Score | evaluate |
|---|---|---|
| functional completeness | 9.2 / 10 | 转写、翻译、说话人、语言识别、音频问答一个模型全包 |
| 易用性 | 7.8 / 10 | NeMo 生态完善，但要自己部署，H100 是硬门槛 |
| Cost-effectiveness | 9.3 / 10 | 开放权重可商用，单卡跑批量转写，边际成本极低 |
| 中文支持 | 8.0 / 10 | 在 40 语言内，支持中英混说，但缺乏单独基准 |
| 输出质量 | 8.9 / 10 | 英语 4.71、长音频 10.98，开源第一 |
Overall rating: 8.7/10
Frequently Asked Questions (FAQ)
Nemotron 3.5 Transcribe 免费吗？
模型权重免费，许可证是 OpenMDW-1.1，允许商用。但你需要自己有 GPU 部署——官方标注单卡 H100 80GB。如果用 NVIDIA 的 NIM 商业镜像，那是另一套授权和计费。
What hardware configuration is required for local deployment?
官方标注 1× H100 80GB。模型提供 BF16、FP8、NVFP4 三种精度，FP8 和 NVFP4 版能显著降低显存压力，但仍然是数据中心级显卡的量级，24GB 消费卡不要指望。
它支持实时语音转字幕吗？
不支持。它处理的是已录制音频，不是直播流。实时字幕、实时语音对话场景请看 Gemini 3.8 Live or ElevenLabs 这类方案。
中文识别效果怎么样？
中文在官方支持的 40 种语言清单内，并且支持中英混合的语码转换场景。但官方公布的基准数据以英语和多语种均值为准，中文没有单独的数字。建议用你自己的音频样本先测一轮再决定。
它和 Nemotron 3.5 Super VL 有什么区别？
方向完全不同。Super VL 是 120B 的视觉语言模型，处理图像和文本；Transcribe 是 34B 的语音模型，处理音频。两者同属 Nemotron 3.5 家族，详见本站的 Nemotron 3.5 Super VL 评测.
Summarize
Nemotron 3.5 Transcribe 做对了一件事：把「会议转写」这个业务流程需要的所有环节——识别、标点、分人、翻译、提问——收进一个 4.3B 激活的模型里，然后开放权重。这让过去的「ASR + diarization + 翻译」三段式流水线可以简化成一次推理。
短板也很实在：不能处理直播流，优化性能锁在 NIM 里拿不到，H100 门槛劝退大部分小团队。它适合的是有 GPU 资源、数据敏感、批量处理录音的场景——医疗转写、法务录音、客服质检、内部会议归档。如果你的需求是「实时」，它第一天就不该进你的候选名单。
Want to Discover More Useful AI Tools? Explore Our AI Model Library and Tool Comparison Engineor continue reading:Nemotron 3 Ultra 评测 · 语音 AI 还没到 ChatGPT 时刻 · An ElevenLabs review · NVIDIA Cosmos 3 benchmark.