Compreender
Governação dos agentes de IA
Governar agentes de IA é responder a três perguntas antes de lhes entregar o comando: até onde podem ir sozinhos, quanto podem gastar e como comprovar o que fizeram. Um agente que age compromete a empresa. Sem essas respostas, a autonomia não é uma capacidade, é uma exposição.
1. A fronteira de autonomia
Nem todas as ações têm o mesmo alcance. Arquivar um documento não se desfaz como uma mensagem enviada a um cliente, e uma mensagem desfaz-se melhor do que um pagamento. A regra útil consiste, portanto, em ordenar as ações segundo a sua reversibilidade e colocar a validação humana onde a marcha atrás se torna impossível.
Uma garantia conta mais do que as outras: o acordo deve ser pedido antes da ação, nunca constatado depois. Uma notificação que anuncia o que acabou de sair não é governação, é um relato. O princípio complementar é o do menor privilégio: cada agente recebe apenas as ferramentas exigidas pela sua missão, de modo que qualquer desvio permaneça limitado por aquilo que nunca teve o direito de tocar.
2. O controlo dos orçamentos
Um agente que raciocina consome, e consome tanto mais quanto mais persevera. É a diferença de natureza face ao software clássico, cujo custo não depende da dificuldade da tarefa. Um ciclo que não chega a lado nenhum pode assim custar mais do que um trabalho bem-sucedido.
O controlo eficaz assenta em três exigências. O orçamento deve ser atribuído por agente e por período, sob pena de um único agente absorver os recursos de todos. Deve ser verificado antes da chamada, e não somado depois: constatar um excesso na fatura não o impede. E deve ser oponível: atingir o teto interrompe o agente e alerta, em vez de deixar correr.
Essa reserva prévia é a maneira pela qual a nullbot torna o excesso impossível, e não meramente improvável.
3. A rastreabilidade
Quando uma ação surpreende, a pergunta não é apenas «o que aconteceu», mas «porque julgou o agente que era o correto a fazer». Um registo útil conserva, portanto, o objetivo perseguido, as informações consultadas, a ação escolhida, o seu resultado e a identidade da pessoa que validou quando uma validação era exigida.
Esse rasto serve três utilizações que nada têm de teórico: corrigir uma regra mal formulada em vez de culpar o agente; responder a um cliente ou a um auditor que pergunta com que fundamento uma decisão foi tomada; e distinguir, em caso de incidente, o que decorre da instrução dada e o que decorre da execução.
4. O domínio sobre os dados
Um agente lê para decidir. Lê, portanto, potencialmente o que a empresa tem de mais sensível: mensagens, contratos, fichas de clientes, elementos financeiros. A questão de governação torna-se então tão geográfica quanto jurídica: onde é tratado esse conteúdo, e o que sai da empresa?
A nullbot responde com arquitetura em vez de promessa: o software é instalado e executado nas suas máquinas, os dados permanecem onde são produzidos, e o acesso aos modelos de inteligência artificial passa pelas suas próprias chaves. A nossa página dedicada à segurança detalha este funcionamento, e o acordo de tratamento de dados fixa o quadro contratual.
5. Perguntas frequentes
Como impedir que um agente ultrapasse o seu orçamento?
Reservando a despesa antes da chamada ao modelo, e não contabilizando-a depois. O montante previsto é retido do saldo do agente; se o saldo se esgota, a chamada não ocorre e o agente para, indicando o motivo. Um contador consultado a posteriori não pode impedir nada.
Que ações devem exigir uma validação humana?
Aquelas que não se podem desfazer e as que comprometem a empresa perante terceiros: envio a um cliente, compromisso financeiro, eliminação definitiva, alteração de um contrato. O critério prático é a reversibilidade, não a dificuldade técnica.
Quem é responsável pelo que um agente faz?
A empresa que o implementou, tal como responde pelo trabalho dos seus colaboradores. É precisamente por isso que a fronteira de autonomia e o rasto das decisões são indispensáveis: permitem demonstrar o que foi autorizado, por quem e com que fundamento.
É possível alargar a autonomia com o tempo?
É a progressão recomendada. Começa-se por exigir uma validação ampla, observa-se onde é sempre concedida, e alivia-se a exigência nesses casos precisos. O inverso — autorizar tudo e restringir depois de um incidente — sai muito mais caro.
Para saber mais
Leia a seguir: implementar agentes de IA na empresa, ou o que é um sistema agêntico.