Entender
Gobernanza de los agentes de IA
Gobernar agentes de IA consiste en responder a tres preguntas antes de darles las riendas: hasta dónde pueden llegar solos, cuánto pueden gastar y cómo demostrar lo que han hecho. Un agente que actúa compromete a la empresa. Sin esas respuestas, la autonomía no es una capacidad, es una exposición.
1. La frontera de autonomía
No todas las acciones tienen el mismo alcance. Archivar un documento no se deshace como un mensaje enviado a un cliente, y un mensaje se deshace mejor que un pago. La regla útil consiste, pues, en ordenar las acciones según su reversibilidad y situar la validación humana allí donde la marcha atrás se vuelve imposible.
Una garantía cuenta más que las demás: el acuerdo debe pedirse antes de la acción, nunca constatarse después. Una notificación que anuncia lo que acaba de salir no es gobernanza, es un informe. El principio complementario es el del mínimo privilegio: cada agente recibe únicamente las herramientas que exige su misión, de modo que cualquier desviación queda acotada por lo que nunca tuvo derecho a tocar.
2. El control de los presupuestos
Un agente que razona consume, y consume más cuanto más persevera. Esa es la diferencia de naturaleza con el software clásico, cuyo coste no depende de la dificultad de la tarea. Un bucle que no llega a nada puede costar así más que un trabajo logrado.
El control eficaz se apoya en tres exigencias. El presupuesto debe estar asignado por agente y por periodo, pues de lo contrario un solo agente absorbe los recursos de todos. Debe comprobarse antes de la llamada, no sumarse después: constatar un exceso en la factura no lo impide. Y debe ser oponible: alcanzar el límite detiene al agente y avisa, en lugar de dejarlo correr.
Esa reserva previa es la manera en que nullbot hace que el exceso sea imposible, y no meramente improbable.
3. La trazabilidad
Cuando una acción sorprende, la pregunta no es solo «qué ha pasado», sino «por qué el agente juzgó que era lo correcto». Un registro útil conserva, pues, el objetivo perseguido, la información consultada, la acción elegida, su resultado y la identidad de la persona que validó cuando se requería una validación.
Ese rastro sirve para tres usos que nada tienen de teóricos: corregir una regla mal formulada en lugar de culpar al agente; responder a un cliente o a un auditor que pregunta sobre qué base se tomó una decisión; y distinguir, en caso de incidente, lo que corresponde a la instrucción dada de lo que corresponde a la ejecución.
4. El control de los datos
Un agente lee para decidir. Lee, por tanto, potencialmente lo más sensible de la empresa: mensajes, contratos, fichas de clientes, elementos financieros. La cuestión de gobernanza se vuelve entonces tan geográfica como jurídica: ¿dónde se trata ese contenido y qué sale de la empresa?
nullbot responde con la arquitectura más que con la promesa: el software se instala y se ejecuta en sus máquinas, los datos permanecen donde se producen y el acceso a los modelos de inteligencia artificial pasa por sus propias claves. Nuestra página dedicada a la seguridad detalla este funcionamiento, y el acuerdo de tratamiento de datos fija el marco contractual.
5. Preguntas frecuentes
¿Cómo impedir que un agente supere su presupuesto?
Reservando el gasto antes de la llamada al modelo, y no contabilizándolo después. El importe previsto se retiene de la asignación del agente; si la asignación se agota, la llamada no se produce y el agente se detiene indicando el motivo. Un contador consultado a posteriori no puede impedir nada.
¿Qué acciones deben exigir una validación humana?
Las que no se pueden deshacer y las que comprometen a la empresa frente a un tercero: envío a un cliente, compromiso financiero, supresión definitiva, modificación de un contrato. El criterio práctico es la reversibilidad, no la dificultad técnica.
¿Quién es responsable de lo que hace un agente?
La empresa que lo ha desplegado, igual que lo es del trabajo de sus colaboradores. Precisamente por eso la frontera de autonomía y el rastro de las decisiones son indispensables: permiten demostrar qué se autorizó, por quién y sobre qué base.
¿Se puede ampliar la autonomía con el tiempo?
Es la progresión recomendada. Se empieza exigiendo una validación amplia, se observa dónde se concede siempre y se relaja la restricción en esos casos precisos. Lo contrario —autorizarlo todo y restringir tras un incidente— sale mucho más caro.
Para profundizar
Leer a continuación: desplegar agentes de IA en la empresa, o qué es un sistema agéntico.