맥킨지 경고: AI 에이전트, 같은 업무도 비용 30배 차이

2026년 9월 26일 맥킨지는 기업들이 AI 에이전트를 도입하면서 비용 예측이 더 어려워지고 있다고 경고했다. 같은 목표를 부여해도 에이전트가 과업을 나누는 방식, 추론 과정, 외부 도구 호출 횟수, 결과를 검토하고 수정하는 횟수가 달라질 수 있다. 이 차이로 같은 업무의 실제 실행 비용이 최대 30배까지 벌어질 수 있다는 것이 맥킨지의 지적이다.

핵심은 AI 모델의 표면적인 이용 단가만으로 기업의 지출을 판단하기 어렵다는 데 있다. 단순 챗봇은 질문을 받고 답변을 돌려주는 한 번의 상호작용에 가까운 경우가 많다. 반면 에이전트는 업무를 여러 단계로 계획하고, 도구나 시스템을 호출하며, 중간 결과를 확인한 뒤 접근법을 바꾸어 작업 완료까지 진행할 수 있다. 단계가 늘어날 때마다 모델 호출과 토큰 소비도 추가될 수 있다.

토큰 가격 하락이 총비용 하락을 보장하지 않는 이유

토큰당 가격은 내려가는 추세다. 스탠퍼드대의 2025년 AI Index는 Epoch AI 분석을 인용해, 표준 지식·추론 벤치마크에서 GPT-3.5 수준 성능의 모델을 조회하는 비용이 2022년 11월 100만 토큰당 20달러에서 2024년 10월 0.07달러로 떨어졌다고 밝혔다. 약 18개월 동안 280배 이상 낮아진 셈이다. OECD도 2026년 7월 분석에서 품질을 조정한 텍스트 대 텍스트 AI 모델 가격이 2024년 1월부터 2026년 4월까지 약 80% 하락했다고 추정했다.

그러나 낮아진 단가는 이용량 확대를 촉진할 수 있다. Coforge는 최근 7개월 동안 같은 수준의 AI 지능을 제공하는 토큰의 단위 비용은 약 100분의 1이 된 반면, 토큰 소비량은 약 8,000배 늘었다고 경영진 브리핑에서 설명했다. 더 많은 업무가 AI로 옮겨가고, 그 업무가 다단계로 복잡해지면 단가 하락과 별개로 전체 청구액은 커질 수 있다.

• 토큰 단가 대신 완료된 업무 한 건당 비용을 측정한다.
• 모델 호출, 외부 도구, 연산 자원, 사람의 검토 비용을 구분해 기록한다.
• 반복 실행이 많은 에이전트 흐름에는 예산 한도와 경보를 둔다.
• 업무 난이도에 맞춰 여러 모델을 나누어 사용한다.

소프트웨어 개발에서 특히 커지는 사용량

맥킨지는 특히 소프트웨어 개발팀을 비용 압력이 뚜렷한 분야로 지목했다. 에이전트 도구로 코딩을 자동화할 때는 토큰 수요가 커지기 쉽다. 에이전트는 코드 일부를 생성하는 데 그치지 않고, 저장소를 읽고, 수정 계획을 세우고, 테스트를 실행하며, 오류를 분석해 다시 시도할 수 있다. 한 번의 호출 가격이 낮아 보여도 이런 반복이 누적되면 초기 예산과 실제 비용 사이의 격차가 커질 수 있다.

미시간대, 스탠퍼드대, All Hands AI, Google DeepMind, Microsoft AI, MIT 연구진이 작성한 2026년 워킹페이퍼는 에이전트형 코딩 과제가 비교 대상인 코드 추론·코드 채팅 과제보다 약 1,000배 많은 토큰을 소비했다고 보고했다. 같은 과제를 실행한 경우에도 총 토큰 소비량은 최대 30배 차이를 보였다. 이는 맥킨지가 말한 실행 방식별 비용 변동성이 실제 관리 대상이라는 점을 뒷받침하는 자료다.

예산 초과는 기술 문제가 아니라 운영 관리 문제

맥킨지의 2026년 AI 조사에 따르면 응답 조직의 약 3분의 1은 기술·통신 예산의 10%를 넘는 비중을 AI에 투입하고 있으며, 60%는 다음 해 AI 지출을 늘릴 계획이라고 답했다. 약 5분의 1은 AI 지출이 운영비에 압박을 주고 있다고 밝혔다. 또 5개 산업의 적격 응답자 75명을 대상으로 한 2026년 5월 기업 AI FinOps 조사에서는 93%가 AI 예산을 초과했다고 응답했다.

이 수치가 모든 기업에서 같은 수준의 예산 초과가 발생한다는 뜻은 아니다. 개별 도입 사례의 투자수익률을 직접 증명하는 자료도 아니다. 다만 실험 단계나 단순 대화형 기능에서 벗어나 여러 단계를 수행하는 시스템으로 옮겨갈수록, 재무적 통제가 중요해진다는 흐름은 분명하다. 맥킨지는 향후 12개월 동안 에이전트형 AI의 효익과 비용을 어떻게 측정할지가 더욱 중요한 관리 과제가 될 것으로 봤다.

평가 기준은 업무 완료의 경제성

Coforge는 토큰 수만으로 AI의 경제성을 평가하는 것은 충분하지 않다고 주장한다. 더 의미 있는 지표는 정해진 업무 하나를 끝내는 데 드는 비용과, 그 업무가 만들어 내는 가치다. 여기에는 모델 호출과 토큰뿐 아니라 연산 자원, 워크플로 조정, 사람의 감독이 포함된다. Gartner도 이를 ‘추론의 역설’로 설명한다. 2026년 8월 분석에 따르면 에이전트형 추론 모델로 작업을 보낼 경우 제공업체의 추론 비용은 기본 챗봇 상호작용보다 최소 다섯 배 늘 수 있으며, 복잡성이 높아질수록 그 폭은 더 커질 수 있다.

Gartner는 2028년까지 에이전트형 워크플로 한 건당 추론 비용이 다섯 배 이상 증가할 것으로 예측했다. 이는 예측이며 이미 확정된 결과는 아니다. 실제 비용은 어떤 모델을 선택하는지, 과업을 어떻게 설계하는지, 재시도가 얼마나 발생하는지, 어떤 도구를 연결하는지, 통제 체계를 갖췄는지에 따라 달라진다. 모델 가격 인하만 보고 적용 범위를 넓히면 비용이 증가하는 지점을 늦게 파악할 수 있다.

혼합 모델 운영이 비용 구조를 바꿀 수 있다

오픈 웨이트 모델의 확산은 또 다른 선택지를 제공한다. 오픈 웨이트 모델은 라이선스 조건에 따라 조직이 학습된 파라미터를 내려받아 직접 운영할 수 있는 모델을 뜻한다. 다만 이것이 완전한 오픈소스와 같은 의미는 아니다. 학습 데이터, 학습 과정, 기타 구성 요소는 공개되지 않을 수 있다. Coforge는 관찰한 플랫폼에서 오픈 웨이트 모델이 토큰 소비의 약 35%를 차지했으며, 이는 2025년 초 약 11~12%보다 높아진 수치라고 밝혔다.

한국 기업에는 특정 모델이나 에이전트 제품 하나를 고르는 일보다 비교 가능한 업무 단위를 만드는 일이 실질적일 수 있다. 코드 지원, 문서 처리, 고객 응대 같은 흐름을 검증 가능한 작업으로 나누고, 품질·완료 시간·사람의 개입·총비용을 함께 기록하는 방식이다. AI 지출이 눈에 보이는 운영비로 자리 잡는 상황에서, 토큰 견적이 아니라 완료된 업무의 비용과 가치를 기준으로 에이전트를 관리할 수 있는지가 중요한 기준이 될 전망이다.