跳到正文
ElevenLabs 官方博客· Mike Murphy·· 10 小时前精选AI 评分60

ElevenLabs 发布强制对齐模型 Cue,支持 90 多种语言单次处理任意长度音频

How your transcript knows where each word is spoken

先看结论

Cue 面向字幕、配音和歌词时间轴等需要字符级时间戳的任务,官方给出误差与速度数据,但均为 ElevenLabs 自建基准结果。

报道讲了什么

  • ElevenLabs 发布强制对齐模型 Cue,为音频中每个字符定位到精确时间线。
  • Cue 是 Scribe 语音转文字流程的最后一步,每个 Scribe 请求都会经过它。
  • 该模型也用于字幕、配音和音乐歌词时间轴,并可通过 Forced Alignment API 单独使用。

可以做什么

  • 单次处理任意长度录音,避免分块拼接带来的累积时间误差。
  • 单个模型覆盖 90 多种基准语言,而多数竞品需按语言分别建模。
  • 可对齐歌曲人声,在 JamendoLyrics MultiLang 数据集子集上 92.7% 的词落在标签 0.3 秒内。

怎么使用

  1. 直接使用可调用 Forced Alignment API。

结果与限制

  • 基准由 ElevenLabs 用真实请求自建,且以词级标签评测字符级系统,官方称可能低估其精度。
  • 速度数据基于其生产 GPU,一小时音频约半秒。
  • 歌曲对齐仅在 Creative Commons 许可的 JamendoLyrics MultiLang 数据集子集上测试。

使用入口与依据

推荐理由

原文给出 Cue 在 29 种语言基准、长音频与带噪录音上的误差和速度对比,可据此判断字幕与歌词对齐的可用性。

来源:ElevenLabs 官方博客 · elevenlabs.io

事件后续

查看事件全部

正在读取事件进展…