Meta推出Muse Voice Transcribe实时语音转录模型

Meta Superintelligence Labs于2026年9月1日发布了Muse Voice Transcribe,这是该公司首个实时音频感知模型。该系统能够转录语音、在同一段录音中区分20多个不同的说话人,并精确检测一个人何时停止说话——这三项任务此前需要三套独立系统分别完成:一套负责转录,一套负责说话人分离(diarization),第三套负责判断说话回合的结束,三者之间的衔接会带来延迟和额外的出错环节。该模型现已通过Meta的API上线,型号名为muse-voice-transcribe-1.0,并已为Mac版Meta AI应用以及公司的编程助手Muse Code提供语音听写功能。Meta没有公开该模型的权重,因此只能以托管服务的方式使用,无法部署在自有服务器上。

工作原理:在同一个循环中边听边写

Muse Voice Transcribe属于Muse Spark系列,以80毫秒为单位处理音频,即每秒处理12.5个音频块。每个音频块会被转换成一个词元(token),模型在同一个解码器内以自回归方式对其进行分析,这个解码器同时也负责生成文本——听到的内容与写出的文字之间不存在单独的对齐环节,而这恰恰是传统流水线最容易出现不同步的地方。每处理完一个音频块,模型都要做出一个二选一的判断:要么预测一个提示继续聆听的词元,要么直接输出一个词。当音频流结束时,一个特殊词元会告诉模型不会再有新的输入,模型随即立刻释放所有待输出的文字——Meta将这种行为称为“灵活聆听”,并同样用它来判断每一时刻是谁在说话。

被训练出来的延迟,而非预先设定

模型在写出一个词之前会等待多长时间的音频——Meta称之为“延迟”——并不是一个固定值:累积的上下文越多,转录就越准确,但等待时间也随之增加。Meta的工程师没有手动设定这种权衡,而是通过强化学习对其进行训练,将转录准确度奖励(词错误率)与速度奖励以相乘的方式结合,使模型自己学会根据每个词的难度动态调整延迟。为识别说话人,系统没有使用单独的模型,而是在同一数据流中加入特殊词元:一个词元在说话人可能切换时立即标记,另一个则略有延迟,为说话人分配从A到Z的标签;同一个人的音频可能被拆分到多个片段中,但这些片段最终都会解析为同一个标签。另外两个词元分别标记一段发言的起点和终点,供判断回合结束的检测器使用,这三项任务都在同一个转录基础奖励之上共同训练。

结果领先于Cartesia、ElevenLabs和Gemini

• 在Artificial Analysis AA-WER Streaming基准测试中,最终转录的词错误率为3.1%,在语音结束后0.16秒内完成——优于Cartesia Ink-2(3.4%,0.43秒)和ElevenLabs Scribe v2 Realtime(3.6%,0.14秒)。
• 首次部分转录的错误率为3.6%,仅需0.13秒;采用外部端点的Cartesia Ink-2版本速度更快(0.07秒),但准确率更低(4.0%)。
• 在AMI-IHM、AMI-SDM和VoxConverse测试中,平均说话人分离错误率为17.5%,而其余五个受测系统的错误率介于21.1%至28.6%之间。
• 支持超过一小时的录音和20人以上同时发言,无需额外后处理;通过调整语言、关键词和上下文偏置,准确率还可以进一步提升。
• 定价为每处理1000分钟音频3美元(约合每小时0.18美元),低于Cartesia Ink-2的4美元,不到ElevenLabs Scribe v2 Realtime和Deepgram Flux 6.5美元的一半。

该模型使用超过70种语言进行训练,其中25种在发布前经过了全面验证,并且能够在一句话中途自然切换语言而不损失准确率,这在双语使用者中很常见。Meta于2026年9月1日通过其在X上的@AIatMeta账号宣布这一发布,称其为公司首个实时感知模型——这一发布抢在OpenAI或谷歌推出同类实时转录系统之前。已在Mac上安装Meta AI应用的用户现在就可以体验:只需按住Fn键,在任意应用程序中说话,听写内容便会由新模型进行转录。

对于经常录制会议、发布会或多人同时发言采访的中国企业和专业人士——记者、律师事务所、客服团队、面向听障人士的无障碍服务——而言,一个能在单次处理中完成转录、分离说话人并检测停顿的模型,可以降低基础设施成本,并减少串联多套工具带来的出错概率。但代价是必须接受该模型只能通过Meta的API使用,既无法自行部署在本地服务器上,也无法审计其模型权重。在替换已经投入生产的转录流程之前,值得先针对本团队实际使用的语言和口音核实真实错误率,因为在超过70种受支持语言中,只有25种经过了全面验证。