이해하기
AI 에이전트 거버넌스
AI 에이전트를 다스린다는 것은 맡기기 전에 세 가지 물음에 답하는 일입니다. 혼자서 어디까지 갈 수 있는가, 얼마까지 쓸 수 있는가, 그리고 무엇을 했는지 어떻게 입증하는가. 행동하는 에이전트는 회사를 구속합니다. 그 답이 없다면 자율은 역량이 아니라 노출입니다.
1. 자율의 경계
모든 행위의 무게가 같지는 않습니다. 문서를 정리하는 일은 고객에게 보낸 메시지처럼 되돌려지지 않고, 메시지는 지급보다 되돌리기 쉽습니다. 그러니 쓸모 있는 규칙은 행위를 되돌릴 수 있는 정도로 늘어놓고, 되돌아갈 길이 사라지는 지점에 사람의 승인을 두는 것입니다.
다른 무엇보다 무거운 보증이 하나 있습니다. 동의는 행동 전에 구해야 하며, 결코 뒤에 확인하는 것이 아닙니다. 방금 나간 것을 알리는 통지는 거버넌스가 아니라 보고입니다. 이를 보완하는 원칙이 최소 권한입니다. 각 에이전트는 임무가 요구하는 도구만 받고, 그래서 어떤 일탈도 애초에 건드릴 권한이 없던 것으로 한정됩니다.
2. 예산의 통제
추론하는 에이전트는 자원을 씁니다. 그리고 끈질기게 매달릴수록 더 씁니다. 일의 난이도에 비용이 좌우되지 않는 기존 소프트웨어와 본질적으로 다른 점입니다. 그래서 끝내 결론에 이르지 못한 반복이 성공한 작업보다 더 비쌀 수 있습니다.
실효 있는 통제는 세 가지 요건 위에 섭니다. 예산은 에이전트별·기간별로 배정해야 합니다. 그러지 않으면 한 에이전트가 모두의 자원을 빨아들입니다. 호출 전에 확인해야 하며 나중에 합산해서는 안 됩니다. 청구서에서 초과를 확인해 봐야 막을 수 없습니다. 그리고 강제력이 있어야 합니다. 한도에 이르면 에이전트는 멈추고 알리며, 계속 달리지 않습니다.
이 사전 확보야말로 nullbot이 초과를 '있음직하지 않은 일'이 아니라 '있을 수 없는 일'로 만드는 방식입니다.
3. 추적 가능성
어떤 행동이 뜻밖일 때 물음은 「무슨 일이 있었는가」에 그치지 않습니다. 「왜 에이전트는 그것이 옳다고 판단했는가」입니다. 그러니 쓸모 있는 기록은 좇던 목표, 살펴본 정보, 고른 행동, 그 결과, 그리고 승인이 필요했을 때 승인한 사람을 남깁니다.
이 기록은 조금도 공허하지 않은 세 가지 쓰임이 있습니다. 에이전트를 탓하는 대신 잘못 쓰인 규칙을 고치는 일. 어떤 근거로 결정했는지 묻는 고객이나 감사인에게 답하는 일. 그리고 사고가 났을 때 주어진 지시에서 비롯한 것과 실행에서 비롯한 것을 가르는 일입니다.
4. 데이터의 통제
에이전트는 판단하려고 읽습니다. 따라서 회사에서 가장 민감한 것—메시지, 계약서, 고객 정보, 재무 자료—을 읽을 수 있습니다. 그러면 거버넌스의 물음은 법의 물음인 동시에 지리의 물음이 됩니다. 그 내용은 어디에서 처리되고, 무엇이 회사 밖으로 나가는가.
nullbot은 약속이 아니라 구조로 답합니다. 소프트웨어는 귀사의 장비에 설치되어 실행되고, 데이터는 만들어진 자리에 머무르며, 인공지능 모델 접근은 귀사 자신의 키를 거칩니다. 보안 페이지가 이 방식을 자세히 설명하고, 데이터 처리 계약이 계약상의 틀을 정합니다.
5. 자주 묻는 질문
에이전트가 예산을 넘지 않게 하려면 어떻게 하나요?
모델을 호출하기 전에 지출을 미리 잡아 두고, 나중에 계상하지 않는 것입니다. 예상 금액은 에이전트의 한도에서 미리 빠지고, 한도가 바닥나면 호출은 일어나지 않으며 에이전트는 이유를 밝히고 멈춥니다. 사후에 들여다보는 계기판은 아무것도 막지 못합니다.
어떤 행위에 사람의 승인을 요구해야 하나요?
되돌릴 수 없는 행위, 그리고 제삼자에 대해 회사를 구속하는 행위입니다. 고객에게 보내기, 금전상의 약속, 영구 삭제, 계약 변경. 실무의 잣대는 기술적 난이도가 아니라 되돌릴 수 있는가입니다.
에이전트가 한 일에 누가 책임을 지나요?
그것을 도입한 회사입니다. 직원의 일에 대해 책임지는 것과 같습니다. 바로 그래서 자율의 경계와 의사결정의 기록이 없어서는 안 됩니다. 무엇이, 누구에 의해, 어떤 근거로 허용되었는지 보일 수 있게 해 주기 때문입니다.
시간이 지나면 자율의 범위를 넓힐 수 있나요?
권하는 진행 방식입니다. 처음에는 넓게 승인을 요구하고, 늘 승인해 주는 지점을 살핀 뒤, 바로 그 경우에만 제약을 풉니다. 그 반대—모두 허용했다가 사고 뒤에 조이는 것—는 훨씬 비쌉니다.
더 읽기
이어서 읽기: 기업에 AI 에이전트 도입하기, 또는 에이전트형 시스템이란.