一个开放的模型用于多语言转录、说话者归属、翻译和音频问答，具备顶尖的排行榜成绩，此外还有开放的Granary v2数据管道和微调食谱以进行适应。转录可以捕捉每一个口语单词，同时让用户或应用程序对是谁说了什么、如何翻译或如何格式化特定领域行话感到困惑。多语言通话、快速会议和医疗听写各自需要不同的输出：翻译、说话者标签或正确拼写的医学术语。NVIDIA Nemotron 3.5 转录是一个开放权重的、可提示的模型，可以将录制的语音转换为有用的文本，现在可在Hugging Face和ModelScope上使用。它将转录、说话者归属（分段）、翻译和音频问答集合到一个检查点中：它支持40种语言的转录，能够将其中31种语言翻译成英文或从英文翻译，并且在13种语言中归属说话者。它可以处理长达一个小时的录音，并标记最多八位说话者。开发者可以通过自然语言指导输出，选择音频处理的地点，并将识别适应于领域词汇和口音。转录在Hugging Face开放ASR排行榜上名列开放权重模型之首，同时在Artificial Analysis的准确性–活跃参数前沿中排名。在说话者归属方面，它在David AI的21语言分段排行榜上公布了最低错误率，并在VoiceArena的14系统比较中排名第一。量化版本即将推出，这样您就可以在RTX Spark、DGX Spark或Jetson AGX Thor上本地运行转录，或者在Blackwell数据中心GPU上扩展。Granary v2的多语言数据（可在Hugging Face和ModelScope上获取）和可重用的策划管道，以及NeMo Speech微调工具，将提示级控制扩展到训练：开发者可以定义他们所需的书面形式，并将模型适应于其应用程序遇到的语音。在一个医疗案例研究中，微调使得在未公开的说话者上，词错误率（WER）相对于最佳提示降低了45.8%。使用自然语言引导转录和分析。同一个检查点可以根据指示将一次会议记录转换为不同的输出：“转录此录音并标记每个说话者。” “将此音频翻译成英文。” “在这次会议中做出了什么决策？”请在下面的视频中体验模型的实际应用，其中它处理了1940年经典喜剧《她的星期五》中一个经典场景——这部电影因其快速的、重叠的对话而闻名。Nemotron 3.5 转录为《她的星期五》（1940）中的一个场景提供了字幕，并标记了说话者，包括重叠对话。对于不熟悉的术语，尝试在训练前使用上下文。例如，在医疗环境中：用原始语言转录此次医疗讨论。可能的术语：HbA1c, metformin。仅在音频支持时使用这些术语。保留标准医学拼写，并将数字以常规书写形式书写。模型卡有推荐的预设，包括音频问题的推理，以及完整的提示指南和任务按语言矩阵：任务的语言支持各不相同，音频问答使用英语进行训练。还支持字级时间戳。与任何语音模型一样，检查名称、说话者更改和答案与录音的一致性。从现场课堂到持久的课程。Agora，其实时语音和视频平台在应用中提供实时对话，在课堂演示中使用了字级时间戳：Nemotron 3.5 转录将录制的课程转化为与重播并排显示的转录，以便学生可以看到何时说了什么。Agora的博客讲述了他们如何构建它。从转录到说话者归属的排行榜获胜成绩在开放权重模型中，转录在说了什么方面领导；在谁说了方面，直接领先两个说话者归属基准。Hugging Face开放ASR排行榜。排行榜将转录准确性作为公有测试集上的词错误率（WER）进行测量，共分为三个轨道：英语：在开放权重模型中以5.33%的平均WER排名第一（见图1）。多语言：七种语言的平均WER为4.62%，在模型卡的开放ASR比较中为评估过的开放权重模型中最低。长格式：平均WER为10.98%，在该比较中同样是最低的。图1。Nemotron 3.5 转录在Hugging Face开放ASR排行榜（英语）中以5.33%的平均WER荣登第一，API模型不计入其中。较低的WER意味着更少的转录错误。Artificial Analysis语音到文本排行榜。Artificial Analysis独立根据AA-WER（词错误率指数）对语音到文本模型进行排名。Nemotron 3.5 转录在开放权重模型中以2.8%的AA-WER并列第一，活跃参数约为40亿，而与之并列的模型为240亿。在AA-AgentTalk中，持出声音代理语音集占AA-WER指数的50%，转录得分为1.8% WER，而下一个最佳开放权重模型得分为2.3%。