Perplexity reduce los fallos de llamadas a herramientas un 21 % con auto‑destilación guiada por pistas

Perplexity ha presentado un enfoque de entrenamiento novedoso llamado auto‑destilación guiada por pistas para el modelo basado en GLM‑5.2 que alimenta su agente Perplexity Computer. El método combina el ajuste fino mediante muestreo de rechazo con la auto‑destilación en política, permitiendo que el modelo aprenda directamente de interacciones reales de usuarios mientras evita los sesgos de retrospección.

La idea central consiste en dividir cada turno de conversación en tres categorías: turnos que el modelo debe imitar, turnos que requieren corrección usando una pista validada y turnos que se conservan solo como contexto de fondo. Las sesiones exitosas aportan ejemplos tanto de imitación como de corrección, mientras que las sesiones fallidas siguen proporcionando datos de corrección, garantizando que toda interacción pueda mejorar el modelo de alguna forma.

Cómo funciona el paso de maestro‑estudiante

Durante el entrenamiento, el modelo ejecuta dos pasadas sobre la misma sesión. En la pasada del maestro, la pista correctiva—derivada de la intención original del usuario y del error del sistema—es visible para el modelo. En la pasada del estudiante, la pista está oculta. Luego, una pérdida de Kullback‑Leibler (KL) directa alinea la distribución de salida del estudiante con la del maestro, transfiriendo efectivamente el conocimiento codificado en la pista sin exponer directamente al estudiante a ella.

Perplexity excluye explícitamente cualquier sesión que contenga información de identificación personal (PII) o que involucre a usuarios que hayan optado por no participar en el entrenamiento. Este filtro busca respetar la normativa de privacidad y mantener la confianza del usuario mientras se sigue recopilando un gran volumen de datos de errores del mundo real.

Prueba A/B en vivo valida el enfoque

Una prueba A/B en vivo que involucró aproximadamente 100 000 usuarios por condición comparó dos puntos de control del modelo: uno entrenado con la canalización de auto‑destilación guiada por pistas y un punto de control base sin ella. Los fallos de llamadas a herramientas—situaciones en las que el agente no pudo invocar con éxito una herramienta externa—cayeron del 2,24 % al 1,77 %, una reducción relativa del 21,2 %.

La misma prueba midió la insatisfacción fuerte estimada, un proxy de frustración severa del usuario. La métrica se desplazó marginalmente del 2,58 % al 2,54 %, un cambio que no alcanzó significación estadística, lo que indica que la reducción de fallos de llamadas a herramientas no se tradujo en una diferencia medible en la insatisfacción general del usuario dentro de los márgenes de confianza del experimento.

Limitaciones y preguntas abiertas

Perplexity no ha publicado los pesos post‑entrenados ni el código de entrenamiento, lo que limita la verificación externa de los resultados. Además, la mejora reportada es de punto de control a punto de control, en lugar de una comparación contra el modelo GLM‑5.2 original, dejando abierta la cuestión de cuánto del beneficio proviene de la nueva técnica de destilación frente al ajuste fino incremental.

Otro aspecto a considerar es la dependencia de pistas validadas que se contrastan con información disponible antes de que ocurriera el error. Si bien esto reduce el sesgo de retrospección, también restringe el alcance de las pistas a situaciones donde la respuesta correcta ya era conocida por el sistema, lo que podría limitar la aplicabilidad del método a consultas más ambiguas o novedosas.

• La auto‑destilación guiada por pistas combina ajuste fino por muestreo de rechazo con auto‑destilación en política.
• Tres tipos de turno: imitación, corrección con pista validada, solo contexto.
• El maestro ve la pista; el estudiante no; la pérdida KL directa alinea distribuciones.
• Las sesiones con PII y las de usuarios que optan por no participar se filtran antes del entrenamiento.

La reducción de fallos de llamadas a herramientas es importante porque dichos fallos suelen obligar a los usuarios a reformular preguntas o abandonar tareas, erosionando la percepción de fiabilidad de los asistentes de IA. Al disminuir la tasa de fallos, Perplexity se acerca a una experiencia de interacción fluida donde la integración de herramientas resulta transparente y confiable.

Para organizaciones hispanohablantes que dependen de agentes de IA para recuperar datos, programar reuniones o ejecutar fragmentos de código, el impacto práctico es evidente: menos interrupciones, menor carga de soporte y mayor confianza en que el asistente completará la acción solicitada en el primer intento. Aunque la significación estadística de métricas de satisfacción más amplias sigue siendo incierta, la disminución concreta en la tasa de errores sugiere beneficios operacionales inmediatos para equipos que despliegan el agente Computer de Perplexity en entornos de producción.