理解

AI 代理治理

治理 AI 代理，就是在把事情交給它們之前回答三個問題：它們能獨自走多遠、能花多少錢，以及如何證明它們做過什麼。會行動的代理會讓公司承擔後果。沒有這些答案，自主就不是一種能力，而是一種曝險。

1. 自主的邊界

並非所有操作分量相同。歸檔一份文件，不像發給客戶的一則訊息那樣難以收回，而一則訊息又比一筆付款容易收回。因此有用的規則是：按可逆性替操作排序，把人工核准放在退路消失的那個位置。

有一項保證比其餘都重要：同意必須在行動之前取得，絕不能在事後確認。一則通報剛剛發出了什麼的提醒，不是治理，而是回報。與之互補的是最小權限原則：每個代理只拿到任務所需的工具，於是任何偏離都被它本來就無權碰觸的範圍框住。

會推理的代理會消耗資源，而且越是堅持消耗越多。這是它與傳統軟體的本質差別：傳統軟體的成本並不取決於任務的難易。因此，一次沒有結果的循環，可能比一件做成的工作還貴。

有效的管控立基於三項要求。預算必須按代理、按期間分配，否則單一代理會吸走所有人的資源。必須在呼叫前查核，而不是事後累加：在帳單上發現超支並不能阻止超支。還必須具有拘束力：一旦觸及上限，代理就停下並示警，而不是任其繼續。

這種事先預留，正是 nullbot 讓超支變成不可能、而不只是不太可能的方式。

當某個行動出人意表時，要問的不只是「發生了什麼」，還有「代理為什麼判斷這樣做是對的」。因此一份有用的日誌會保留：所追的目標、查閱過的資訊、選定的行動、它的結果，以及在需要核准時是誰批准的。

這份痕跡有三個一點也不空泛的用處：修正一條寫得不好的規則，而不是怪罪代理；回答客戶或稽核人員「依據什麼作出這個決定」的追問；以及在出事時，把源自所下指令的部分和源自執行的部分區分開來。

代理為了判斷而閱讀。因此它可能讀到公司最敏感的東西：訊息、合約、客戶資料、財務數字。於是治理的問題既是法律問題，也是地理問題：這些內容在哪裡被處理，又有什麼離開了公司？

nullbot 以架構而非承諾作答：軟體安裝並執行在貴公司的機器上，資料留在產生它的地方，存取人工智慧模型走的是貴公司自己的金鑰。我們的安全頁面詳述了這套做法，資料處理協議則訂下合約框架。

如何防止代理超出預算？

做法是在呼叫模型之前先預留支出，而不是事後記帳。預計金額會從該代理的額度中扣下；額度用盡，呼叫就不會發生，代理會說明原因後停止。事後才去看的計數器什麼也擋不住。

哪些操作應當要求人工核准？

那些無法撤回的，以及那些讓公司對第三方作出承諾的：向客戶發出、財務承諾、永久刪除、修改合約。實用的標準是可逆性，而不是技術難度。

代理做的事由誰負責？

是部署它的公司，正如公司要為員工的工作負責一樣。正因如此，自主邊界與決策留痕不可或缺：它們讓公司能證明什麼被核准過、由誰核准、依據什麼。

自主權可以隨時間放寬嗎？

這是建議的推進方式。先要求較寬的核准，觀察哪些情形每次都會通過，再只在這些情形上放鬆限制。反過來做——先全部放開，出事之後再收緊——代價要大得多。