자율 AI 에이전트

1. 정의

자율 AI 에이전트는 언어 모델을 중심으로 지은 소프트웨어로, 절차가 아니라 목표를 맡깁니다. 수행할 작업의 순서를 일러 주지 않습니다. 무엇을 기대하는지 말하고, 필요한 도구에 접근할 수 있게 하고, 어떻게 도달할지는 스스로 정하게 둡니다.

「자율」이라는 말에는 일찍 풀어 두는 편이 나은 오해가 따라붙습니다. 「어떤 통제도 벗어난다」는 뜻도, 「스스로 목표를 정한다」는 뜻도 아닙니다. 자율 에이전트는 주어진 임무, 열어 준 도구, 지운 한계 안에 머뭅니다. 자율이 미치는 것은 경로이지 목적지가 아닙니다.

실무적인 구분은 간단합니다. 상황이 예상과 다를 때 무슨 일이 벌어지는지 자문해 보십시오. 통상적인 프로그램은 멈추거나 틀린 결과를 냅니다. 에이전트는 어긋남을 알아채고 다른 길을 찾으며, 찾지 못하면 알립니다. 그 회복 능력만이 이 이름을 정당화합니다.

2. 에이전트를 이루는 네 부품

에이전트는 하나의 부품이 아니라 조립물입니다. 그중 하나만 빼도 답변만 하는 어시스턴트로 되돌아갑니다.

• 목표. 도달해야 할 상태를 서술하는 지시이지, 명령의 목록이 아닙니다. 「고객에게 독촉하지 않은 채 삼십 일을 넘긴 청구서가 없도록 한다」는 목표입니다. 「고객 X에게 메일을 보내라」는 명령입니다.
• 도구. 세상에 대해 말하는 대신 세상에 작용하게 해 주는 것입니다. 메일함을 읽고, 데이터베이스에 쓰고, 서비스를 호출하고, 파일을 만들고, 웹을 살핍니다. 도구 없는 모델은 글만 내놓을 수 있고, 따라서 회사를 바꾸는 것은 아무것도 내놓지 못합니다.
• 기억. 자기 일과 회사, 그리고 이미 한 일에 대해 아는 내용입니다. 이것이 없으면 매일 아침 처음부터 시작하고, 같은 고객에게 두 번 독촉하며, 어제 일러준 규칙을 잊습니다.
• 순환. 자기 행동의 결과를 살피고 목표와 견주어 계속할지, 고칠지, 멈출지를 판단하게 하는 장치입니다. 가장 눈에 띄지 않으면서 가장 결정적인 부품이기도 합니다. 순환이 없으면 에이전트는 없고, 조금 공들인 모델 호출이 있을 뿐입니다.

순환에는 한마디를 더 보탤 만합니다. 대부분의 시연이 슬쩍 넘기는 대목이기 때문입니다. 계획을 알리고 멈추는 에이전트는 순환을 닫지 않았습니다. 내놓은 것을 한 번도 보지 않고 계획을 실행하는 에이전트도 마찬가지입니다. 빨랐을 뿐이고, 빠르게 틀릴 것입니다. 감지하고, 판단하고, 행동하고, 배우는 온전한 한 바퀴가 모델을 일꾼으로 만듭니다.

3. 자율의 다섯 단계

「자율」은 스위치가 아니라 눈금이며, 눈금을 혼동하는 데서 실망의 대부분이 나옵니다. 2단계를 그리면서 4단계를 사는 회사가 있고, 그 반대도 있습니다.

• 1단계 — 제안한다. 에이전트가 제안하고 사람이 합니다. 초안 작성, 답변 제시. 위험도 없지만 실제로 아낀 시간도 없습니다. 일은 그대로 남습니다.
• 2단계 — 준비한다. 에이전트가 완성된 결과물을 만들고 사람은 승인해 보내기만 하면 됩니다. 잘못이 회사 밖으로 나가기 전에 드러나므로 시작하기에 가장 이득이 큰 단계입니다.
• 3단계 — 문턱 아래에서 행동한다. 선언된 한도 아래에서는 혼자 실행하고 그 위에서는 승인을 구합니다. 200유로 미수금은 스스로 독촉하고 5,000유로를 넘으면 승인을 받는 식입니다. 잘 조율된 시스템의 정상 운항 상태입니다.
• 4단계 — 행동하고 보고한다. 에이전트가 업무를 처음부터 끝까지 이끌고 다시 읽을 수 있는 기록을 남깁니다. 되돌릴 수 있는 반복 업무에 알맞습니다. 분류하고, 가려내고, 최신 상태로 유지하고, 사내 동향 정리를 내놓는 일입니다.
• 5단계 — 다른 에이전트를 이끈다. 목표를 나누고 배분하며 진행을 따라가고 판단합니다. 이 단계는 앞의 단계들이 검증된 뒤에야 의미가 있습니다. 한 번도 측정하지 않은 시스템에 맡기는 것은 알 수 없는 오류를 곱하는 일입니다.

단계는 한 번 정하고 끝나는 것이 아니라 업무별로 고르는 것입니다. 같은 에이전트가 견적 독촉은 혼자 처리하고 할인 승인은 사람에게 물을 수 있습니다. 자율성을 전체로만 설정할 수 있는 시스템은 쓸모없음과 무모함 사이에서 고르게 만듭니다.

4. 자율 에이전트가 아닌 것

챗봇이 아닙니다. 챗봇은 질문을 기다렸다가 답을 돌려줍니다. 일은 그 뒤에 시작되고, 그 일을 하는 것은 사람입니다. 에이전트는 현실의 결과로 평가받습니다. 청구서가 나갔고, 서류가 정리되었고, 약속이 잡혔습니다.

자동화 스크립트도 RPA도 아닙니다. 자동화 스크립트는 미리 적어 둔 단계를 따르다가 첫 어긋남에서 깨집니다. 열 제목이 바뀌거나 화면이 새로 설계되는 것으로 충분합니다. 에이전트는 목표를 좇으며 어긋남을 흡수합니다. 차이는 가동 첫날이 아니라 유지 비용에서 드러납니다.

코파일럿이 아닙니다. 코파일럿은 키보드 앞의 사람을 빠르게 합니다. 사람을 치우면 아무 일도 일어나지 않습니다. 에이전트는 아무도 보지 않을 때 일합니다. 바로 그 점이 가치이고, 바로 그래서 한 일을 다시 읽을 수 있어야 합니다.

범용 지능이 아닙니다. 에이전트에게는 고유한 의도도, 임무 외의 일을 하려는 욕구도 없습니다. 「통제를 빼앗는」 시스템에 대한 두려움은 초점이 어긋나 있습니다. 실제로 흔하고 잦은 위험은 잘못 쓰인 지시를 정확히, 대규모로, 아무도 모르는 사이에 수행하는 에이전트입니다.

5. 에이전트를 믿을 만하게 만드는 것

에이전트의 신뢰성은 이를 움직이는 모델에 거의 좌우되지 않고, 네 가지 안전장치에 크게 좌우됩니다. 석 달 만에 그만두는 회사가 겪은 문제는 대개 모델 문제가 아니었습니다.

• 선언된 경계. 실행 전에 사람의 승인을 요구하는 행동의 목록입니다. 돈을 약속하는 일, 서명하는 일, 민감한 고객에게 답하는 일, 삭제하는 일. 그때그때의 판단에 맡기지 않고 선언해 둡니다.
• 실효적인 예산. 지출은 모델을 호출하기 전에 확보되며, 사후에 집계되지 않습니다. 나중에 확인하는 한도는 한도가 아니라 보고서입니다.
• 다시 읽을 수 있는 기록. 추구한 목표, 참고한 정보, 선택한 행동, 그 결과, 그 비용. 다시 읽을 수 없는 위임 업무는 결국 신뢰받지 못하는 업무가 되고, 회사는 조용히 수작업으로 돌아갑니다.
• 최소 권한. 각 에이전트는 임무가 요구하는 도구만 받습니다. 동향을 살피는 에이전트에게 청구 시스템의 쓰기 권한은 필요 없습니다.

이 네 가지는 편의를 위한 선택지가 아닙니다. 이듬해에 더 맡길 수 있을지를 결정합니다. 거버넌스와 예산 통제 페이지에서 다루는 주제입니다.

6. 가짜 에이전트를 가려내는 여섯 가지 질문

많은 도구가 에이전트를 자처하지만 실제로는 고정된 레일 위에서 모델 호출을 이어 붙일 뿐입니다. 여섯 가지 질문이면 판가름이 나고, 모두 시연 자리에서 물을 수 있습니다.

• 도구가 실패하면 무엇을 하는가? 그 자리에서 멈추면 연쇄 처리입니다. 다른 길을 시도한 뒤 알려 오면 에이전트입니다.
• 같은 단계를 두 번 할 수 있는가? 진짜 에이전트는 되돌아가 다시 합니다. 레일은 언제나 앞으로만 갑니다.
• 어제 무엇을 했는지 아는가? 기억이 없으면 같은 고객에게 두 번 독촉하고 당신의 수정을 잊습니다.
• 어디에서 스스로 멈추는가? 승인 없이는 실행하지 않겠다고 거부하는 행동이 하나도 없다면, 경계는 선언되지 않은 것입니다. 아예 없는 것입니다.
• 이 업무에 얼마가 들었는가? 업무 단위로 숫자를 얻을 수 없다면 무엇을 맡길 가치가 있는지 가릴 수 없습니다.
• 누구에게 묻지 않고 그 작업을 다시 읽을 수 있는가? 답이 아니라면 통제는 신뢰에 기대고 있으며, 신뢰는 규모를 견디지 못합니다.

실무에서 가장 빨리 판가름 나는 것은 여섯 번째입니다. 무엇이, 누구에 의해, 얼마에 이루어졌는지 볼 수 있다는 것은 장식용 대시보드가 아닙니다. 시스템이 일하고 있는지, 그저 분주한지를 아는 수단입니다.

7. 자주 묻는 질문

더 읽기

이어서 읽기: 에이전트형 시스템이란 무엇인가, AI 에이전트가 기업에서 실제로 하는 일, 또는 거버넌스와 예산 통제.