Fish Audio, 전이중 음성 모델 Live 3 공개…반응 시간 186ms

Fish Audio는 2026년 11월 10일 전이중(풀듀플렉스) 음성 모델이라고 설명하는 Live 3를 공개했다. 상대가 말을 멈추기를 기다렸다가 답하는 대신, 말하는 동안에도 계속 듣는 모델이다. Fish Audio에 따르면 이 모델은 최소 186밀리초 만에 반응하기로 결정할 수 있는데, 이 수치는 완전한 답변이 아니라 “응”, “알겠어요” 같은 짧은 맞장구나 빠른 확인에 해당한다. 회사의 발표 페이지는 전문을 읽을 수 없었기 때문에, 이 기사는 라우팅 서비스 OrcaRouter가 낸 상세한 설명과 Fish Audio 팀이 GitHub에 올린 문서 수정 요청을 근거로 한다.

Live 3가 풀려는 문제

대부분의 음성 에이전트는 아직도 음성 인식, 언어 모델, 음성 합성이라는 부품의 사슬과, 통화자가 말을 끝냈는지 판단하는 무음 임계값으로 돌아간다. OrcaRouter가 설명한 발표 내용에 따르면 이런 설계는 전화번호 중간의 멈춤과 질문이 끝난 뒤의 멈춤을 혼동한다. Fish Audio가 직접 든 예는 통화자가 “415… 555… 0132”를 불러 주는 상황이다. 기존 에이전트는 이를 서로 다른 세 번의 발화 종료로 듣지만, Live 3는 문서상 각 묶음 사이에 “응”이나 “알겠어요, 415”라고 말한 뒤 나머지를 기다린다.

반대 방향의 오류도 똑같이 중요하다. 에이전트가 영업시간을 읽어 주는 동안 통화자가 “네”라고 해서 듣고 있다는 신호를 보내도 Live 3는 계속 말하는 것으로 알려졌다. 그러다 통화자가 “잠깐만요, 사실 목요일만 필요해요”라고 하면 말을 멈추고 발언권을 넘겨야 한다. 세 번째는 스스로 말을 고치는 경우다. “피자 두 판… 아니, 세 판… 사실 한 판은 마르게리타로”처럼, 처음의 그럴듯한 주문에 곧바로 반응하는 에이전트는 틀리게 된다. Fish Audio는 이런 행동을 사람이 일일이 설정한 것이 아니라 실제 사람의 대화에서 학습한 것이라고 설명한다.

지금까지의 해법은 규칙과 임계값을 더 늘리는 것이었습니다. 우리는 언어 모델이 문법을 배우듯, 모델도 실제 대화에서 이를 배워야 한다고 생각합니다.

문서로 확인된 것과 그렇지 않은 것

현재 확인할 수 있는 내용은 다음과 같으며, 어느 것도 독립적인 측정에 근거하지 않는다.

• 반응 시간: 최소 186ms. Fish Audio가 제시한 수치이며 짧은 반응에 해당한다.
• 언어: 출시 시점에는 영어만 지원한다.
• 제공 방식: Fish Agent Platform, Fish Audio 자체 API, 기업 고객을 위한 온프레미스 구축.
• 학습: 실제 사람의 대화. 데이터셋 규모와 평가 세트는 공개되지 않았다.
• 가격: OrcaRouter에 따르면 공개 요금표에 없다. 11월 10일 GitHub에 올라온 문서 수정 요청에는 분당 0.07달러의 ‘Live 3 conversation’ 항목이 추가돼 있지만 아직 검토 중이었고, 작성자는 API 필드(engine을 live3로 설정, 그리고 live3_prompt)가 아직 OpenAPI 스키마에 없으며 curl 예시도 실행해 보지 않았다고 밝혔다.

벤치마크는 없다. OrcaRouter에 따르면 Fish Audio는 Live 3에 대한 평가를 전혀 공개하지 않았고, 이중 음성 모델을 채점하는 Artificial Analysis에도 11월 11일 기준 Live 3 항목이 없었다. 따라서 186ms라는 수치는 검증되지 않았다. 또한 이 수치는 짧은 반응 가운데 가장 빠른 쪽을 가리킨다. 통화자가 에이전트의 말 위에 끼어들지를 좌우하는, 완전한 답변의 첫 소리가 나오기까지의 지연은 공개되지 않았다. OrcaRouter 자신이 모델 라우팅을 판매하며 기사 안에서 자사 제품을 소개하고 있으므로, 발표에 대한 해석은 그 점을 감안해 받아들여야 한다.

이를 기반으로 에이전트를 만드는 방법

Live 3는 공개 베타 중인 Fish Agent Platform의 음성 계층이다. /v1/agent/ 아래에 REST 엔드포인트가 있고 JavaScript와 React용 SDK도 제공된다. 에이전트는 웹 위젯, 전화번호, 자체 클라이언트에 연결할 수 있으며 세션 토큰을 사용한다. 문서 수정 요청에 따르면 Live 3는 Builder에서 켜거나 voice.engine을 live3로 설정해 사용하고, 상황은 voice.live3_prompt로 지정하며, 캐스케이드 방식으로 되돌릴 수도 있다. 같은 문서는 언어 지원, 발언권 교대, 전달 방식 제어, 전사본, 상담원 연결 중 음성 등에서 두 방식을 비교한다. 추론 계층은 OpenAI 호환 엔드포인트를 가리킬 수 있어, 언어 모델이 꼭 Fish Audio의 것일 필요는 없다.

기업에 어떤 변화를 가져오나

전화로 영어 주문, 예약, 고객 지원 통화를 받는 한국 기업, 예컨대 외식 프랜차이즈나 병원, 공공 서비스 업체라면 이점은 구체적이다. 말이 끊기는 통화자가 줄고 잘못된 주문도 줄어들 수 있다. 다만 기존 시스템을 바꾸기 전에 확정된 분당 가격, 완전한 답변에 대한 지연 분포, 독립적인 발언권 교대 테스트라는 세 가지를 기다리는 편이 현명하다. 그때까지는 실제 통화 수백 건으로 시범 운영을 하며 끼어들기와 전사 오류를 측정하고, 이전 방식으로 돌아갈 길을 남겨 두면 위험을 낮출 수 있다. 모델이 영어만 말하기 때문에 한국어 통화는 당분간 기다려야 한다.