Perplexity, 힌트 기반 자체 증류로 도구 호출 오류 21% 감소

Perplexity는 자체 증류와 힌트 기반 학습을 결합한 혁신적인 훈련 방식을 공개했습니다. 이 방식은 최신 GLM‑5.2 모델을 기반으로 하여 Perplexity Computer 에이전트를 구동하도록 설계되었습니다. 거부 샘플링 파인‑튜닝과 정책 내 자체 증류를 동시에 적용함으로써 실제 사용자와의 실시간 상호작용 데이터를 직접 학습에 활용하고, 사후 편향을 최소화하는 구조를 갖추고 있습니다.

핵심 아이디어는 대화 흐름을 세 가지 유형으로 구분하는 데 있습니다. 첫 번째는 모델이 그대로 모방해야 하는 정상적인 턴, 두 번째는 검증된 힌트를 통해 교정이 필요한 턴, 그리고 세 번째는 배경 정보만 제공되어 모델이 스스로 추론해야 하는 턴입니다. 성공적인 세션은 모방과 교정 예시를 모두 포함하며, 실패한 세션이라도 교정 데이터를 제공해 모든 상호작용이 모델 개선에 기여하도록 설계되었습니다.

교사‑학생 패스가 작동하는 방식

훈련 과정에서 동일한 세션을 두 번 처리합니다. 교사 패스에서는 사용자 의도와 시스템 오류에서 도출된 교정 힌트가 모델에 노출됩니다. 반면 학생 패스에서는 힌트가 숨겨진 채로 모델이 예측을 수행합니다. 이후 전방 Kullback‑Leibler(KL) 손실을 이용해 학생의 출력 분포를 교사의 분포와 정렬시켜, 힌트에 담긴 지식을 직접 노출하지 않고도 전달하도록 합니다.

Perplexity는 개인정보 보호를 최우선으로 삼아, 개인 식별 정보(PII)가 포함된 세션이나 훈련을 거부한 사용자의 데이터를 명시적으로 제외합니다. 이러한 필터링 단계는 법적 규정을 준수하면서도 방대한 실제 오류 데이터를 확보하기 위한 필수 조치로 작용합니다.

실시간 A/B 테스트가 접근법을 검증

약 10만 명의 사용자를 무작위로 두 그룹에 배정한 실시간 A/B 테스트를 진행했습니다. 한 그룹은 힌트 기반 자체 증류 파이프라인으로 훈련된 최신 체크포인트를, 다른 그룹은 기존 체크포인트를 사용했습니다. 결과는 외부 도구 호출 실패 비율이 2.24%에서 1.77%로 감소했으며, 이는 21.2%의 상대적 감소에 해당합니다.

동일 테스트에서는 강한 불만족도 지표, 즉 심각한 사용자 좌절을 나타내는 수치를 함께 측정했습니다. 불만족도는 2.58%에서 2.54%로 미미하게 변동했으며, 통계적으로 유의미한 차이는 발견되지 않았습니다. 이는 도구 호출 오류 감소가 직접적으로 전체 사용자 불만족을 낮추지는 않았음을 시사합니다.

제한점 및 남은 질문들

Perplexity는 사후 훈련된 가중치와 훈련 코드를 공개하지 않아 외부 검증이 제한됩니다. 또한 보고된 개선 효과는 체크포인트 간 비교에 국한되며, 원본 GLM‑5.2 모델과의 직접적인 비교는 수행되지 않았습니다. 따라서 새로운 증류 기법의 실제 효과와 점진적 파인‑튜닝이 차지하는 비중을 정확히 파악하기는 어렵습니다.

또 다른 고려사항은 시스템이 이미 알고 있던 정보와 대조해 검증된 힌트를 활용한다는 점입니다. 이 접근법은 사후 편향을 줄이는 장점이 있지만, 정답이 사전에 존재하지 않을 경우 힌트를 생성하지 못해 모호하거나 새로운 질의에 대한 적용 범위가 제한될 수 있습니다.

• 힌트 기반 자체 증류는 거부 샘플링 파인‑튜닝과 정책 내 자체 증류를 결합합니다.
• 세 가지 턴 유형: 모방, 검증된 힌트 교정, 배경만 제공
• 교사 패스는 힌트를 보이고, 학생 패스는 숨깁니다; 전방 KL 손실이 분포를 맞춥니다.
• PII와 옵트아웃 세션은 훈련 전 필터링됩니다.

도구 호출 오류가 감소하면 사용자가 질문을 다시 표현하거나 작업을 포기하는 상황이 크게 줄어듭니다. 이는 AI 비서의 신뢰성을 크게 향상시키며, 오류 비율이 낮아짐에 따라 Perplexity는 보다 투명하고 안정적인 도구 통합 경험을 제공하는 단계에 한 걸음 다가섰습니다.

한국 기업들에서는 AI 에이전트를 활용해 데이터 조회, 회의 일정 잡기, 코드 스니펫 실행 등 다양한 업무 자동화를 시도하고 있습니다. 도구 호출 중단이 감소하면서 작업 흐름이 끊기는 현상이 줄어들고, 지원 비용도 낮아지며, 첫 시도에서 요청이 성공할 확률이 높아지는 구체적인 효과가 나타나고 있습니다.

비록 전체 만족도 지표의 통계적 유의성은 아직 확정되지 않았지만, 오류율 감소 자체가 운영 효율성을 즉시 개선할 수 있는 실질적인 이점을 제공합니다. 특히 대규모 기업 환경에서는 작은 오류 감소가 누적되어 큰 비용 절감 효과로 이어질 가능성이 큽니다.

향후 연구에서는 힌트 생성 메커니즘을 확장해 사전 정보가 없는 상황에서도 유용한 교정 힌트를 제공할 수 있는 방법을 모색해야 합니다. 또한, 외부 검증을 위해 공개 가능한 형태의 체크포인트와 훈련 로그를 제공함으로써 학계와 산업계가 공동으로 개선점을 찾아갈 수 있는 기반을 마련하는 것이 필요합니다.

Perplexity가 제시한 힌트 기반 자체 증류는 현재 AI 에이전트가 직면한 실용적인 문제, 즉 도구 호출 실패를 직접적인 데이터로 활용해 해결하려는 시도로 평가됩니다. 이 접근법이 다른 모델에도 적용될 수 있는지, 그리고 장기적인 성능 향상으로 이어질 수 있는지는 추가 실험과 검증이 요구됩니다.

마지막으로, 이 기술이 실제 서비스에 적용될 때 사용자 경험 전반에 미치는 영향을 면밀히 관찰해야 합니다. 특히 한국 시장에서는 다양한 언어적·문화적 특성을 고려한 맞춤형 힌트 설계가 성공 여부를 가를 중요한 요소가 될 것입니다.