理解

AI 智能体治理

治理 AI 智能体，就是在把事情交给它们之前回答三个问题：它们能独自走多远，能花多少钱，以及如何证明它们做过什么。会行动的智能体会让公司承担后果。没有这些答案，自主就不是一种能力，而是一种敞口。

1. 自主的边界

并非所有操作分量相同。归档一份文件，不像发给客户的一条消息那样难以收回，而一条消息又比一笔付款容易收回。因此有用的规则是：按可逆性给操作排序，把人工审批放在退路消失的那个位置。

有一项保证比其余都重要：同意必须在行动之前取得，绝不能在事后确认。一条通报刚刚发出了什么的提醒，不是治理，而是汇报。与之互补的是最小权限原则：每个智能体只拿到任务所需的工具，于是任何偏离都被它本就无权触碰的范围框住。

会推理的智能体要消耗资源，而且越是坚持消耗越多。这是它与传统软件的本质区别：传统软件的成本并不取决于任务的难易。因此，一次没有结果的循环，可能比一件做成的工作还贵。

有效的管控立足于三项要求。预算必须按智能体、按周期分配，否则单个智能体会吸走所有人的资源。必须在调用前核验，而不是事后累加：在账单上发现超支并不能阻止超支。还必须具有约束力：触及上限即让智能体停下并告警，而不是任其继续。

这种事先预留，正是 nullbot 让超支变成不可能、而不只是不太可能的方式。

当某个行动出人意料时，要问的不只是“发生了什么”，还有“智能体为什么判断这样做是对的”。因此一份有用的日志会保留：所追的目标、查阅过的信息、选定的行动、它的结果，以及在需要审批时是谁批准的。

这份痕迹有三个一点也不空泛的用处：修正一条写得不好的规则，而不是怪罪智能体；回答客户或审计人员“依据什么作出这个决定”的追问；以及在出事时，把源自所下指令的部分和源自执行的部分区分开来。

智能体为了判断而阅读。因此它可能读到公司最敏感的东西：消息、合同、客户资料、财务数据。于是治理的问题既是法律问题，也是地理问题：这些内容在哪里被处理，又有什么离开了公司？

nullbot 用架构而不是承诺来回答：软件安装并运行在贵司的机器上，数据留在产生它的地方，访问人工智能模型走的是贵司自己的密钥。我们的安全页面详述了这一机制，数据处理协议则确定了合同框架。

如何防止智能体超出预算？

办法是在调用模型之前先预留开支，而不是事后记账。预计金额从该智能体的额度中扣下；额度耗尽，调用就不会发生，智能体会说明原因后停止。事后才去看的计数器什么也拦不住。

哪些操作应当要求人工审批？

那些无法撤回的，以及那些让公司对第三方作出承诺的：向客户发出、财务承诺、永久删除、修改合同。实用的标准是可逆性，而不是技术难度。

智能体做的事由谁负责？

是部署它的公司，正如公司要为员工的工作负责一样。正因如此，自主边界和决策留痕不可或缺：它们让公司能证明什么被批准过、由谁批准、依据什么。

自主权可以随时间放宽吗？

这是推荐的推进方式。先要求较宽的审批，观察哪些情形每次都会批准，再只在这些情形上放松约束。反过来做——先全部放开，出事之后再收紧——代价要大得多。