跳到正文
The Decoder AI in practice· Jonathan Kemper·· 3 小时前同新闻AI 评分78

Nvidia 发布开源语音模型 Nemotron 3.5 Transcribe,整合转写、翻译与说话人识别

Nvidia's open Nemotron 3.5 Transcribe combines transcription, translation, and speaker recognition

先看结论

原文显示该模型把转写、翻译、说话人识别和录音问答合入一个可在单卡运行的开放权重模型,适合评估长录音批量处理与领域微调。

报道讲了什么

  • Nvidia 发布开源语音识别模型 Nemotron 3.5 Transcribe,支持用文本指令控制输出形式。
  • 同步发布 Granary v2 数据集,约 84.4 万小时语音、48 种语言,并提供构建数据集的工具。
  • 模型与数据集已放在 Hugging Face,并提供可试用的演示。

可以做什么

  • 按提示把同一段会议录音输出为带说话人标签的转写、英文翻译或决策摘要。
  • 可传入药名等技术术语作为提示,模型被设定为仅在录音中实际出现时使用。
  • 支持 40 种语言转写、31 种语言与英语互译、13 种语言说话人识别,处理最长 1 小时录音。

怎么使用

  1. 从 Hugging Face 获取模型与数据集,或先使用官方演示试用。
  2. 做领域定制时,Nvidia 提供微调指南和一个让 AI 编码助手执行训练流程的扩展。
  3. 构建定制版本时,建议预留至少 100 条真实且经核验的录音用于测试。

结果与限制

  • 模型仅面向已录制音频,不支持实时处理。
  • 功能因语言而异,音频问答功能仅以英语训练。
  • Nvidia 建议人工抽查人名、说话人切换和回答内容。

使用入口与依据

同一新闻,精选展示《NVIDIA 发布 Nemotron 3.5 Transcribe 模型与 Granary v2 数据管线》

来源:The Decoder AI in practice · the-decoder.com

事件后续

查看事件全部

正在读取事件进展…