AI在线 AI在线

​英伟达全新开源自动语音识别模型 Parakeet-TDT-0.6B-V2,语音转录能力再提升

近日,英伟达在 Hugging Face 平台上推出了其最新的自动语音识别(ASR)模型 ——Parakeet-TDT-0.6B-V2。 这一新模型不仅在性能上有显著提升,还将开源理念与商业应用相结合,吸引了广泛关注。  超强转录能力Parakeet-TDT-0.6B-V2的最大亮点在于其出色的转录效率。

近日,英伟达在 Hugging Face 平台上推出了其最新的自动语音识别(ASR)模型 ——Parakeet-TDT-0.6B-V2。这一新模型不仅在性能上有显著提升,还将开源理念与商业应用相结合,吸引了广泛关注。

QQ_1746495042000.png

 超强转录能力

Parakeet-TDT-0.6B-V2的最大亮点在于其出色的转录效率。据称,该模型能够在仅仅一秒内完成60分钟音频的转录,极大提高了语音处理的速度。这一效率让开发者和企业在构建语音识别和转录服务时,能够获得更快的反馈和更高的生产力。

在技术参数上,Parakeet-TDT-0.6B-V2拥有6亿个参数,结合了 FastConformer 编码器和 TDT 解码器架构。这一设计使得该模型在 Hugging Face 的开放 ASR 排行榜上脱颖而出,当前其平均 “词错误率”(WER)仅为6.05%,接近市面上多个商业转录工具的表现,例如 OpenAI 的 GPT-4o-transcribe(2.46%)和 ElevenLabs Scribe(3.3%)。

广泛应用场景

Parakeet-TDT-0.6B-V2于2025年5月1日全球发布,旨在帮助开发者、研究人员和行业团队构建多样化的应用,包括转录服务、语音助手、字幕生成器以及对话式 AI 平台等。该模型支持标点符号、大小写字母的处理,并提供详细的逐字时间戳,满足各种语音转文本的需求。

开发者可以利用英伟达的 NeMo 工具包轻松部署该模型,支持 Python 和 PyTorch 等开发环境的兼容性,既可直接使用,也可根据特定需求进行微调。

训练数据与模型优化

Parakeet-TDT-0.6B-V2的训练数据来自名为 Granary 的大规模语音数据集,该数据集包含约12万小时的英语音频,其中包括1万小时的高质量人工转录数据和11万小时的伪标记语音。这些数据来源于多个知名数据集,如 LibriSpeech 和 Mozilla Common Voice,确保了模型的训练质量和多样性。

在评估方面,该模型经过多个英语 ASR 基准测试验证,显示出良好的泛化能力。即使在复杂的噪声环境下,它也能保持稳定的性能,适用于各种音频格式的转录。

 兼容性与效率

为了确保广泛的应用场景,Parakeet-TDT-0.6B-V2针对英伟达的多款 GPU 硬件进行了优化,如 A100、H100、T4和 V100。虽然高端 GPU 能最大化其性能,但即使在只有2GB RAM 的系统上,该模型也能够顺利运行,这为其在不同设备上的应用提供了更多可能。

值得注意的是,英伟达在开发该模型时未使用任何个人数据,符合其负责任的 AI 开发框架。此外,英伟达还提供了详细的训练过程文档和数据集来源信息,确保用户在使用过程中能够理解模型的背景和依据。

Parakeet-TDT-0.6B-V2的发布不仅展示了英伟达在自动语音识别领域的创新实力,也为开发者提供了一个强大且灵活的工具,助力他们在各自的领域中实现更多可能。

huggingface:https://huggingface.co/nvidia/parakeet-tdt-0.6b-v2

相关资讯

字节大模型团队Depth Anything V2模型入选苹果最新CoreML模型

近日,苹果公司在HuggingFace上发布了20个新的Core ML模型和4个数据集,字节大模型团队的单目深度估计模型 Depth Anything V2入选其中。CoreML是苹果公司的机器学习框架,将机器学习模型集成到iOS,MacOS等设备上高效运行,可在无需互联网连接的情况下执行复杂的AI任务,从而增强用户隐私并减少延迟。苹果开发者可以利用这些模型更容易地构建智能、安全的AI应用。Depth Anything V2为字节大模型团队开发的单目深度估计模型。相比上一代版本,V2版在细节处理上更精细,鲁棒性更强
6/28/2024 4:42:00 PM
新闻助手

Deepseek AI 模型升级推出 2.5 版:合并 Coder 和 Chat,对齐人类偏好、优化写作任务和指令跟随等

DeepSeek Coder V2 和 DeepSeek V2 Chat 两个模型已经合并升级,升级后的新模型为 DeepSeek V2.5。图源:Linux.do 论坛网友截图DeepSeek 官方昨日(9 月 5 日)更新 API 支持文档,宣布合并 DeepSeek Coder V2 和 DeepSeek V2 Chat 两个模型,升级推出全新的 DeepSeek V2.5 新模型。官方表示为向前兼容,API 用户通过 deepseek-coder 或 deepseek-chat 均可以访问新的模型。新模型在
9/6/2024 8:37:33 AM
故渊

烽火通信旗下长江计算 G440K V2 服务器实现 DeepSeek 系列模型推理适配和优化

烽火通信旗下长江计算近日联合昇腾、华为云团队成功助力某国有大行完成 DeepSeek-V3 大模型的本地化推理服务部署。本次部署使用长江计算 G440K V2 服务器,基于 MindIE 推理引擎,在华为云 AI 开发平台 ModelArts 上完成。
2/7/2025 4:33:56 PM
归泷(实习)
  • 1