NIST, 적대적 머신러닝 공격 분류 초안 공개…MCP 도구 공급망 경고

미국 국립표준기술연구소(NIST)는 2026년 11월 9일 특별 간행물 NIST SP 2400-102e2026의 최초 공개 초안을 발표했다. 제목은 「Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations」다. NIST에 따르면 이 문서는 2026년 12월 18일까지 공개 의견을 받는다. 초안은 특히 AI 에이전트가 모델 컨텍스트 프로토콜(Model Context Protocol, MCP)을 통해 호출하는 도구의 공급망 위험을 경고한다.

적대적 머신러닝이란 무엇이며 NIST 초안은 무엇을 다루나?

적대적 머신러닝(Adversarial Machine Learning, AML)은 머신러닝 시스템을 의도적으로 조작하는 공격과 이에 대한 방어를 연구하는 분야다. NIST에 따르면 이 보고서는 개념 분류 체계를 세우고 해당 분야의 용어를 정의한다. 분류 체계는 개념적 계층 구조로, 주요 머신러닝 방법 유형, 공격의 수명 주기 단계, 공격자의 목표·의도·능력·지식을 포함한다. NIST는 광범위한 문헌 검토, AML 전문가들과의 대화, 자체 전문가들의 연구를 바탕으로 했다고 밝혔다.

NIST 간행물 페이지에 따르면 이 초안은 기존 NIST AI 100-2 시리즈를 잇는 것으로, 관련 간행물로 AI 100-2 E2025를 올려 두었다. 저자로 적힌 이는 NIST의 Apostol Vassilev와 Maia Hamin, 노스이스턴대학의 Alina Oprea, ElevenLabs의 Alie Fordyce, 영국 AI 안보연구소의 Xander Davies다. 이번 판의 초점은 에이전트형 시스템에 대한 공격과 완화책이며 보고서 4절에서 다루고, 에이전트형 공격 분류 색인도 새로 추가했다.

용어와 관련해 짚을 점이 있다. NIST 자체 페이지는 대상 시스템을 「SI」(「Super Intelligence」의 약어)로 부르는 반면, CDO Magazine과 iThome은 이 초안을 에이전트형 AI 시스템을 다루는 문서로 설명한다. 이 기사는 「AI」로 표기하며 두 매체의 설명을 따른다.

이 분류 체계는 어떤 공격을 담고 있나?

11월 12일 초안을 보도한 CDO Magazine에 따르면 이 문서는 데이터 중독, 모델 중독, 프라이버시 공격, 회피 기법을 다룬다. 생성형 AI의 경우 공급망 공격, 직접·간접 프롬프트 인젝션, 정보 추출, 모델 변조를 포함한다. 프롬프트 인젝션은 모델이 읽는 텍스트에 지시를 숨겨 모델이 따르게 하는 수법이다.

대만 매체 iThome은 11월 13일, 초안이 예측형 머신러닝, 생성형 AI, 에이전트형 AI 시스템을 모두 다루며 그에 맞는 방어책도 제시한다고 보도했다. CDO Magazine은 에이전트 부분이 에이전트가 외부 데이터, 도구, 스킬, 다른 에이전트와 상호작용하며 생기는 위협을 다룬다고 설명하며, 신뢰할 수 없는 데이터, 악성 도구와 스킬, 다중 에이전트 워크플로, 장시간 실행 작업이 여기에 포함된다.

MCP 도구는 어떻게 중독되나?

모델 컨텍스트 프로토콜(MCP)은 AI 에이전트가 제3자 서버가 제공하는 외부 도구에 연결할 수 있게 하는 표준이다. iThome의 초안 요약에 따르면 에이전트는 도구 제공자가 내놓은 텍스트 설명을 바탕으로 어떤 도구를 쓸지 결정한다. NIST는 공격자가 악성 도구의 설명에 지시를 심어 에이전트가 공격자의 도구를 고르게 하거나 원래 실행 계획을 바꾸게 할 수 있다고 설명한다. NIST는 이 수법을 도구 중독(Tool Poisoning)이라 부른다.

iThome에 따르면 또 다른 수법은 러그 풀(rug pull)이다. 공격자는 먼저 겉보기에 정상인 MCP 서버를 공개 도구 레지스트리에 등록한다. 사용자가 설치한 뒤 서버가 제공하는 도구 설명을 몰래 바꿔, 사용자의 재동의 없이 에이전트가 악성 작업을 실행하도록 유도한다.

iThome은 NIST가 인용한 연구에서 실제 운영 중인 MCP 서버에서도 이런 유형의 위험이 발견됐다고 덧붙인다. 같은 요약은 현재 AI 모델의 안전 정렬 장치만으로는 정상적인 도구 인터페이스를 통해 전달되는 악성 행위를 막기에 부족하다고 전한다.

NIST는 어떤 방어책을 제안하나?

두 매체는 초안에서 서로 다르면서 보완적인 완화책 목록을 전했다.

• 암호 서명과 변경할 수 없는 버전 식별자로 도구 정의를 검증하고, 도구 실행 환경을 샌드박스로 격리한다(iThome).
• 신뢰할 수 있는 지시와 신뢰할 수 없는 콘텐츠를 분리하고, 정보 흐름을 제한하며, 접근 통제와 최소 권한을 적용하고, 샌드박스와 감사 로그를 사용한다(CDO Magazine).

메모리 중독과 지시 표류는 왜 재시작으로도 지워지지 않을 수 있나?

iThome은 도구 외에도 NIST가 장시간 작업을 수행하는 AI 에이전트의 위험을 논의한다고 보도했다. 공격자가 에이전트의 장기 메모리에 악성 콘텐츠를 심으면 그 내용이 이후 작업에서 에이전트의 행동에 영향을 줄 수 있으며, 이것이 메모리 중독이다. CDO Magazine은 에이전트가 웹사이트, 파일, 지식 베이스, 영구 메모리에서 정보를 가져오고, 이런 자료에 삽입된 악성 지시가 에이전트의 컨텍스트로 들어올 수 있다고 설명한다.

두 번째 위험은 지시 표류다. iThome에 따르면 작업 데이터가 계속 쌓이면 에이전트가 초기 지시와 제약을 점차 덜 충실히 따르게 될 수 있고, 공격자는 여러 차례의 상호작용을 통해 행동을 바꿀 기회를 얻는다. 중독된 것이 기반 모델이나 그 적응 계층이라면 단순한 재시작이나 복구로는 악성 행위가 제거되지 않을 수 있고, 모델 교체나 재학습이 필요할 수 있다고 역시 iThome은 전한다.

기업에는 무엇이 달라지나?

CDO Magazine은 이 초안이 자발적인 성격이며 법적·규제적 요건을 정하지 않는다고 밝혔다. 또한 초안일 뿐이다. NIST는 공격과 방어가 진화함에 따라 문서를 갱신하겠다고 밝혔고, 세 가지 질문에 의견을 구한다. 현존하는 시스템, 특히 에이전트형 시스템을 위협하는 최신 공격, 최신의 효과적인 완화책, 표준화가 필요한 새 용어다. NIST는 이 분류 체계가 향후 표준과 실무 가이드에 참고가 되도록 하는 것이 목적이라고 밝혔다.

미국 공급업체나 고객과 거래하는 한국 기업에는 이 초안이 협력사에 질의하고 보안 요건을 작성할 때 쓸 공통 어휘가 된다. 다음은 NIST의 발언이 아닌 본지의 해석이다. 첫 단계로 자사 에이전트가 호출할 수 있는 모든 MCP 서버와 도구를 파악하고, 사용 중인 버전을 고정하며, 업데이트할 때마다 도구 설명을 다시 점검하고, 에이전트에는 필요한 권한만 부여하며, 그 작업 기록을 남기는 방법을 생각해 볼 수 있다. 이러한 통제는 더 넓은 AI 에이전트 거버넌스 체계의 일부다.