Meta bringt Muse Voice Transcribe für Sprache in Echtzeit

Meta Superintelligence Labs hat am 1. September 2026 Muse Voice Transcribe vorgestellt, sein erstes Modell zur Audio-Wahrnehmung in Echtzeit. Das System transkribiert Sprache, unterscheidet mehr als 20 verschiedene Sprecher innerhalb derselben Aufnahme und erkennt den genauen Moment, in dem eine Person zu sprechen aufhört – drei Aufgaben, die bislang drei getrennte Systeme erforderten: eines für die Transkription, eines für die Sprechertrennung (Diarisierung) und einen dritten Detektor für das Gesprächsende, die miteinander verbunden werden mussten, mit der Latenz und den Fehlerquellen, die jede Verbindung hinzufügt. Das Modell ist bereits über die Meta-API als muse-voice-transcribe-1.0 verfügbar und treibt inzwischen die Sprachdiktierfunktion der Meta-AI-App für Mac sowie von Muse Code, dem KI-Programmierassistenten des Unternehmens, an. Meta hat die Modellgewichte nicht veröffentlicht, sodass es nur gehostet genutzt werden kann, ohne die Möglichkeit, es auf eigenen Servern zu betreiben.

So funktioniert es: Zuhören und Schreiben in derselben Schleife

Muse Voice Transcribe gehört zur Muse-Spark-Familie und verarbeitet Audio in 80-Millisekunden-Blöcken, also 12,5 Blöcken pro Sekunde. Jeder Block wird zu einem Token, das das Modell autoregressiv analysiert, innerhalb desselben Decoders, der auch den Text erzeugt: Es gibt keine separate Ausrichtungsphase zwischen dem, was gehört, und dem, was geschrieben wird – genau dort, wo klassische Pipelines häufig aus dem Takt geraten. Nach jedem Block trifft das Modell eine binäre Entscheidung: Es sagt entweder ein Token voraus, das bedeutet, weiter zuzuhören, oder es gibt direkt ein Wort aus. Endet der Audiostrom, teilt ein spezielles Token dem Modell mit, dass keine weiteren Informationen mehr kommen, und es gibt sofort jeden ausstehenden Text frei – ein Verhalten, das Meta „flexibles Zuhören" nennt und das auch dafür genutzt wird, zu entscheiden, wer gerade spricht.

Eine Verzögerung, die trainiert wird, nicht vorab festgelegt

Wie viel Audiomaterial das Modell abwartet, bevor es ein Wort schreibt – was Meta „Verzögerung" nennt – ist kein fester Wert: Je mehr Kontext es sammelt, desto präziser die Transkription, aber desto größer auch die Wartezeit. Statt diesen Kompromiss von Hand festzulegen, trainierten Metas Ingenieure ihn mittels Reinforcement Learning, indem sie eine Belohnung für Genauigkeit (Wortfehlerrate) multiplikativ mit einer Belohnung für Geschwindigkeit verknüpften, sodass das Modell selbst lernt, die Verzögerung Wort für Wort je nach Schwierigkeit anzupassen. Zur Sprechererkennung setzt das System nicht auf ein separates Modell, sondern auf spezielle Token innerhalb desselben Datenstroms: Eines markiert einen möglichen Sprecherwechsel, sobald er eintritt, ein anderes, leicht verzögertes, vergibt eine Sprecher-Kennung von A bis Z; Audio derselben Person kann sich über mehrere Segmente verteilen, die alle auf dieselbe Kennung aufgelöst werden. Zwei weitere Token markieren Anfang und Ende einer Äußerung für den Gesprächsende-Detektor, und alle drei Aufgaben werden gemeinsam auf derselben Basis-Belohnung für die Transkription trainiert.

Ergebnisse vor Cartesia, ElevenLabs und Gemini

• 3,1 % Wortfehlerrate bei der finalen Transkription, 0,16 Sekunden nach Sprechende, im Benchmark Artificial Analysis AA-WER Streaming – vor Cartesia Ink-2 (3,4 % bei 0,43 s) und ElevenLabs Scribe v2 Realtime (3,6 % bei 0,14 s).
• 3,6 % Fehlerrate bei der ersten Teiltranskription, in nur 0,13 Sekunden; die Cartesia-Ink-2-Variante mit externen Endpunkten ist schneller (0,07 s), aber ungenauer (4,0 %).
• 17,5 % durchschnittliche Diarisierungs-Fehlerrate in den Tests AMI-IHM, AMI-SDM und VoxConverse, gegenüber einer Spanne von 21,1 % bis 28,6 % bei den fünf anderen getesteten Systemen.
• Unterstützt Aufnahmen von mehr als einer Stunde und mehr als 20 gleichzeitige Sprecher ohne zusätzliche Nachbearbeitung; die Genauigkeit lässt sich durch Sprach-, Stichwort- und Kontextvorgaben weiter steigern.
• Preis von 3 US-Dollar pro 1.000 Minuten verarbeitetem Audio (0,18 US-Dollar pro Stunde), unter den 4 US-Dollar von Cartesia Ink-2 und weniger als der Hälfte der 6,50 US-Dollar von ElevenLabs Scribe v2 Realtime und Deepgram Flux.

Das Modell wurde mit mehr als 70 Sprachen trainiert, von denen 25 vor dem Start umfassend validiert wurden, und es beherrscht den Sprachwechsel mitten im Satz, ohne an Genauigkeit zu verlieren – üblich bei zweisprachigen Sprechern. Meta kündigte die Veröffentlichung am 1. September 2026 über den Account @AIatMeta auf X an und bezeichnet sie als sein erstes Echtzeit-Wahrnehmungsmodell – ein Schritt, der kommt, bevor OpenAI oder Google ein vergleichbares System zur Live-Transkription vorgestellt haben. Wer die Meta-AI-App bereits auf einem Mac installiert hat, kann es sofort ausprobieren: Einfach die Fn-Taste gedrückt halten und in einer beliebigen Anwendung sprechen, damit das Diktat mit dem neuen Modell transkribiert wird.

Für deutsche Unternehmen und Fachleute, die Meetings, Pressekonferenzen oder Interviews mit mehreren gleichzeitig sprechenden Personen aufzeichnen – Journalisten, Anwaltskanzleien, Kundenservice-Teams, Barrierefreiheitsdienste für gehörlose Menschen –, senkt ein Modell, das Transkription, Sprechertrennung und Pausenerkennung in einem einzigen Durchlauf erledigt, die Infrastrukturkosten und die Fehlerquote, die beim Verketten mehrerer Werkzeuge entsteht. Im Gegenzug muss man akzeptieren, dass es sich nur über die Meta-API nutzen lässt, ohne Möglichkeit zum Selbst-Hosting oder zur Prüfung der Modellgewichte. Bevor eine bereits produktiv genutzte Transkriptions-Pipeline ersetzt wird, lohnt sich ein Vergleich der tatsächlichen Fehlerrate mit der Sprache und dem Akzent des jeweiligen Teams, da nur 25 der über 70 unterstützten Sprachen umfassend validiert wurden.