Fish Audio Live 3: duplexstem reageert in 186 milliseconden

Fish Audio presenteerde op 10 november 2026 Live 3, een spraakmodel dat het bedrijf full-duplex noemt: het blijft luisteren terwijl het praat, in plaats van te wachten tot de beller zwijgt voordat het antwoordt. Volgens Fish Audio kan het model al na 186 milliseconden besluiten te reageren; dat getal geldt voor korte reacties zoals ‘mm-hmm’, ‘oké’ of een snelle bevestiging, niet voor een volledig antwoord. De aankondigingspagina van het bedrijf kon niet volledig worden gelezen, dus dit artikel steunt op het uitgebreide verslag van de routeringsdienst OrcaRouter en op de documentatiewijzigingen die het team van Fish Audio op GitHub opende.

Het probleem dat Live 3 wil oplossen

De meeste spraakagenten draaien nog op een keten van onderdelen: spraakherkenning, taalmodel, spraaksynthese en stiltedrempels die bepalen wanneer de beller klaar is. Volgens de beschrijving van de aankondiging door OrcaRouter verwart die opzet een pauze midden in een telefoonnummer met de pauze aan het einde van een vraag. Het eigen voorbeeld van Fish Audio is een beller die ‘415… 555… 0132’ voorleest: een gewone agent hoort drie aparte beurteinden, terwijl Live 3 volgens de documentatie tussen de blokken ‘mm-hmm’ of ‘oké, 415’ zegt en dan op de rest wacht.

De omgekeerde fout telt even zwaar. Als de agent openingstijden voorleest en de beller ‘ja’ zegt om te laten merken dat hij volgt, zou Live 3 doorgaan; zegt de beller daarna ‘Wacht, ik heb eigenlijk alleen donderdag nodig’, dan hoort het model te stoppen en ruimte te geven. Een derde geval is zelfcorrectie, zoals ‘twee pizza’s… nee, drie… maak er eentje een margherita van’, waarbij een agent die op de eerste plausibele bestelling handelt de plank misslaat. Fish Audio presenteert dit gedrag als geleerd van echte menselijke gesprekken en niet met de hand ingesteld.

Tot nu toe was de oplossing meer regels en meer drempels. Wij vinden dat een model dit moet leren van echte gesprekken, zoals taalmodellen grammatica leren.

Wat is gedocumenteerd en wat niet

Dit is wat op dit moment vaststaat, zonder dat er een onafhankelijke meting achter zit:

• Reactietijd: minimaal 186 ms, een getal van Fish Audio zelf, voor korte reacties.
• Taal: bij de lancering alleen Engels.
• Beschikbaarheid: het Fish Agent Platform, de eigen API van Fish Audio en installatie op eigen servers voor zakelijke klanten.
• Training: echte menselijke gesprekken; noch de omvang van de dataset noch de evaluatieset is openbaar gemaakt.
• Prijs: volgens OrcaRouter niet opgenomen in het openbare tarievenoverzicht. Een op 10 november op GitHub geopend voorstel voor de documentatie voegt een regel ‘Live 3 conversation’ toe van 0,07 dollar per minuut, maar het werd nog beoordeeld, en de auteur merkt op dat de API-velden (engine ingesteld op live3, en live3_prompt) nog niet in het OpenAPI-schema stonden en dat het curl-voorbeeld niet was uitgevoerd.

Er is geen benchmark. Volgens OrcaRouter heeft Fish Audio geen enkele evaluatie van Live 3 gepubliceerd, en Artificial Analysis, dat duplex-spraakmodellen beoordeelt, had op 11 november geen regel voor Live 3. Het getal van 186 ms is dus niet gecontroleerd. Het beschrijft bovendien het snelle uiteinde van korte reacties: de vertraging tot het eerste geluid van een volledig antwoord, die bepaalt of bellers over de agent heen praten, is niet gepubliceerd. OrcaRouter verkoopt zelf modelroutering en presenteert zijn eigen product in het artikel, dus zijn lezing van de aankondiging moet daarmee rekening houdend worden gewogen.

Hoe je er een agent mee bouwt

Live 3 is de spraaklaag van het Fish Agent Platform, dat in openbare bèta is. Het biedt REST-eindpunten onder /v1/agent/ en SDK’s voor JavaScript en React; een agent kan worden gekoppeld aan een webwidget, een telefoonnummer of een eigen client, met sessietokens. Volgens het documentatievoorstel schakel je Live 3 in via de Builder of met voice.engine ingesteld op live3, stel je situaties in met voice.live3_prompt en kun je terugschakelen naar de cascademodus. Dezelfde tekst vergelijkt beide modi op taalondersteuning, beurtwisseling, voordrachtsregeling, transcripties en spraak bij begeleide doorverbindingen. De redeneerlaag kan naar een OpenAI-compatibel eindpunt wijzen, dus het taalmodel hoeft niet van Fish Audio te zijn.

Wat het verandert voor een bedrijf

Voor een Nederlands bedrijf dat bestellingen, reserveringen of supportgesprekken telefonisch in het Engels afhandelt, zoals een restaurantketen, een kliniek of een energiebedrijf, is het nut concreet: minder afgekapte bellers en minder foute bestellingen. Voordat een bestaande keten wordt vervangen, is het verstandig op drie dingen te wachten: een bevestigde prijs per minuut, een latentieverdeling voor volledige antwoorden en een onafhankelijke test van beurtwisseling. Intussen houdt een pilot met enkele honderden echte gesprekken, waarbij onderbrekingen en transcriptiefouten worden gemeten en een terugweg naar de oude modus openblijft, het risico klein. Nederlandstalige gesprekken moeten wachten, omdat het model alleen Engels spreekt.