ElevenLabs 官方博客· Mike Murphy·· 10 小时前精选AI 评分60
ElevenLabs 发布强制对齐模型 Cue,支持 90 多种语言单次处理任意长度音频
How your transcript knows where each word is spoken
先看结论
Cue 面向字幕、配音和歌词时间轴等需要字符级时间戳的任务,官方给出误差与速度数据,但均为 ElevenLabs 自建基准结果。
报道讲了什么
- ElevenLabs 发布强制对齐模型 Cue,为音频中每个字符定位到精确时间线。
- Cue 是 Scribe 语音转文字流程的最后一步,每个 Scribe 请求都会经过它。
- 该模型也用于字幕、配音和音乐歌词时间轴,并可通过 Forced Alignment API 单独使用。
可以做什么
- 单次处理任意长度录音,避免分块拼接带来的累积时间误差。
- 单个模型覆盖 90 多种基准语言,而多数竞品需按语言分别建模。
- 可对齐歌曲人声,在 JamendoLyrics MultiLang 数据集子集上 92.7% 的词落在标签 0.3 秒内。
怎么使用
- 直接使用可调用 Forced Alignment API。
结果与限制
- 基准由 ElevenLabs 用真实请求自建,且以词级标签评测字符级系统,官方称可能低估其精度。
- 速度数据基于其生产 GPU,一小时音频约半秒。
- 歌曲对齐仅在 Creative Commons 许可的 JamendoLyrics MultiLang 数据集子集上测试。
使用入口与依据
推荐理由
原文给出 Cue 在 29 种语言基准、长音频与带噪录音上的误差和速度对比,可据此判断字幕与歌词对齐的可用性。
来源:ElevenLabs 官方博客 · elevenlabs.io
事件后续
查看事件全部正在读取事件进展…