理解する
AIエージェントのガバナンス
AIエージェントを統治するとは、任せる前に三つの問いに答えることです。どこまで単独で進めてよいか、いくらまで使ってよいか、そして何をしたかをどう証明するか。行動するエージェントは企業を拘束します。この答えがなければ、自律は能力ではなく危険の露出です。
1. 自律の境界
すべての操作が同じ重みではありません。書類の整理は、顧客に送った文面のようには取り消せず、文面は支払いより取り消しやすい。したがって有効な規則は、操作を可逆性の順に並べ、後戻りが不可能になる地点に人の承認を置くことです。
ほかより重い保証が一つあります。同意は行動の前に求めるものであり、後から確認するものではありません。たった今出ていったものを知らせる通知は、ガバナンスではなく報告です。これを補うのが最小権限の原則です。各エージェントは任務が求める道具だけを受け取り、逸脱は、そもそも触れる権利のなかったものによって限られます。
2. 予算の統制
推論するエージェントは資源を消費し、粘るほど消費は増えます。ここが従来のソフトウェアとの本質的な違いです。従来型の費用は仕事の難しさに左右されません。したがって、実らなかった反復のほうが、成功した仕事より高くつくことがあります。
実効ある統制は三つの要件に立ちます。予算はエージェントごと・期間ごとに割り当てること。さもなければ一体のエージェントが全体の資源を吸い上げます。呼び出しの前に確認すること。後から合算しても、請求書で超過に気づくだけでは防げません。そして強制力を持つこと。上限に達したらエージェントは停止して通知し、走り続けはしません。
この事前確保こそ、nullbotが超過を「起こりにくい」ではなく「起こり得ない」ものにする仕組みです。
3. 追跡可能性
ある行動に驚いたとき、問いは「何が起きたか」だけではありません。「なぜエージェントはそれが正しいと判断したのか」です。役立つ記録は、追った目標、参照した情報、選んだ行動、その結果、そして承認が必要だった場合に承認した人を残します。
この記録は、少しも理屈倒れでない三つの用に立ちます。エージェントを責める代わりに、まずい書き方の規則を直すこと。どんな根拠で決めたのかと問う顧客や監査人に答えること。そして事故の際に、与えた指示に由来するものと実行に由来するものを分けることです。
4. データの掌握
エージェントは判断するために読みます。つまり、企業の最も繊細なもの——連絡、契約、顧客情報、財務——を読み得ます。そこでガバナンスの問いは、法の問いであると同時に地理の問いになります。その内容はどこで処理され、何が社外へ出るのか。
nullbotは約束ではなく設計で答えます。ソフトウェアは御社の端末に導入されて動作し、データは生まれた場所に留まり、人工知能モデルへの接続は御社自身の鍵を通ります。詳しくはセキュリティのページで説明し、データ処理契約が契約上の枠組みを定めます。
5. よくある質問
エージェントが予算を超えないようにするには。
モデルを呼び出す前に支出を確保し、後から計上しないことです。見込み額はエージェントの枠から差し引かれ、枠が尽きれば呼び出しは行われず、エージェントは理由を告げて止まります。後から見る計器は何も防げません。
どの操作に人の承認を求めるべきですか。
取り消せない操作と、第三者に対して企業を拘束する操作です。顧客への送信、金銭の約束、完全な削除、契約の変更。実務上の基準は、技術的な難しさではなく可逆性です。
エージェントの行いには誰が責任を負いますか。
導入した企業です。従業員の仕事について責任を負うのと同じです。だからこそ自律の境界と意思決定の記録が欠かせません。何が、誰によって、どんな根拠で許されたのかを示せるからです。
時間をかけて自律の範囲を広げられますか。
それが推奨される進め方です。まず広く承認を求め、いつも承認している箇所を見極め、その部分だけ制約を緩めます。逆——すべてを許してから事故の後に絞る——のほうがはるかに高くつきます。
さらに読む
次に読む：企業にAIエージェントを導入する、またはエージェント型システムとは。