Anthropic, 소형 AI 모델이 언젠가 IoT를 통해 확산할 수 있다고 경고

Anthropic은 소형 AI 모델의 성능 발전이 계속될 경우, 안드로이드 TV 박스와 기타 IoT 하드웨어 같은 인터넷 연결 소비자 기기를 통해 퍼지는 새로운 유형의 악성코드를 결국 뒷받침할 수 있다고 경고하고 있다. 회사는 현재의 추세가 이어진다면 더 작은 모델들이 손상된 기기들 위에 분산 추론 환경을 구축하고, 전파되는 과정에서 자기 모델 페이로드의 일부를 함께 운반하는 능력에 곧 도달할 수 있다고 본다. 그러나 Ars Technica가 전한 회사 자체 결과에는 중요한 한계가 분명히 붙어 있다. 시험된 경량 모델들은 처음부터 끝까지 이어지는 자율 복제를 완수하지 못했고, 전체 과정은 매우 느렸으며, 구성의 핵심 일부는 이례적으로 취약한 표적 조건에 의존했다.

Anthropic이 입증했다고 말한 내용

Ars Technica가 정리한 Anthropic 연구에 따르면, 이 회사는 실제 또는 시뮬레이션된 저가형 IoT 하드웨어에서 소형 오픈 웨이트 모델을 실행했다. 여기에는 비주류 브랜드의 안드로이드 TV 박스도 포함됐다. 연구진은 양자화와 여러 기기 사이로 작업 부하를 샤드 형태로 분할하는 방식을 이용해, 제약이 큰 하드웨어에서도 모델 가중치를 적재하고 추론을 수행할 수 있었다고 한다. Ars Technica는 Gemma4-26B-A4B가 각각 메모리 4GB를 탑재한 박스 15대를 필요로 했으며, Qwen3.5-9B는 9종의 하드웨어 가운데 8종에서 다른 LLM이 실행되도록 구성을 맞출 수 있었다고 보도했다.

Anthropic은 이 점이 중요한 이유로, 기존 악성코드는 대체로 특정 하드웨어나 소프트웨어 환경에 맞춰 별도로 작성되어야 한다는 점을 든다. 회사의 문제의식에 따르면, 그때그때 구성을 조정할 수 있는 모델이 있다면 익숙하지 않은 기기에서도 침해를 성사시킬 가능성이 더 커질 수 있다. 제시된 공격 흐름에는 표적 탐색, 코드 실행 권한 획득, 추론 환경 구축, 그리고 그다음 단계의 추가 전파가 포함됐다. Ars Technica는 또한 이러한 시스템이 이후 시도를 위해 프롬프트, 코드, 메모를 보존할 수 있다는 Anthropic의 주장도 전했다. 그렇게 되면 나중의 감염은 이미 실패했던 단계를 다시 반복하지 않아도 될 수 있다는 설명이다.

Anthropic에 따르면 가장 어려운 단계는 각 표적 기기에서 동적으로 추론 환경을 설정하는 일이다. 이는 호환되는 추론 소프트웨어를 고르고, 필요한 의존성을 설치하며, 플랫폼별 문제를 디버깅하는 일을 뜻한다. Ars Technica는 Anthropic이 이 부분을 복제 주기 전체에서 가장 덜 연구되었고, 아마도 가장 까다로운 단계로 본다고 전했다. 그럼에도 회사는 소형 모델들이 이 문제의 일부를 자율적으로 해결하는 능력에서 점차 더 강해지고 있다고 주장한다.

이번 실험이 보여주지 못한 것

같은 보도는 이 실험이 소형 모델이 스스로 기기를 찾아내고, 이를 익스플로잇하고, 자신을 설치하고, 추론 환경을 구성한 뒤, 그 과정을 처음부터 끝까지 반복하는 모습을 입증하지는 못했다고 분명히 밝힌다. Ars Technica에 따르면, 시험된 경량 모델들 가운데 이를 수행할 수 있었던 모델은 없었다. 또한 구성 과정 자체도 매우 느렸다. 안드로이드 TV 박스 15대에 분산된 Gemma4-26B-A4B는 초당 0.39토큰의 속도로 동작했고, 최적화되지 않은 구성에서 전체 추론 설정 시간은 71시간에서 150시간이 걸렸다. Qwen3.5-9B도 29시간에서 51시간이 필요했다고 전해졌다.

Ars Technica는 여기에 두 가지 중요한 단서를 더 지적한다. 첫째, 시험에 사용된 안드로이드 기기들은 인증 없는 Android Debug Bridge가 외부에 노출된 상태였다. 이 도구는 개발과 디버깅을 위해 마련된 것이며, 기기에 폭넓은 접근 권한을 주기 때문에 운영 환경에서는 노출되어서는 안 된다. 둘째, 복제는 소형 모델 자체가 수행한 것이 아니었다. Ars Technica는 GLM-5.2가 전체 과정을 조율했고, 표적 기기에서는 더 작은 Llama 모델이 실행됐다고 보도했다.

이 구분은 중요하다. AI 연구자 Xiaohan Fu는 Ars Technica에 이번 연구만으로는 소형 모델이 자율적으로 복제를 선택할 것이라고 결론 내릴 수 없다고 말했다. Fu는 또한 정확한 프롬프트와 지시 사항이 무엇이었는지 더 투명하게 공개된다면, 외부 연구자들이 결과를 더 잘 평가하고, 실제로 입증된 능력과 새롭게 떠오르는 자율 위협을 혼동하는 일을 줄이는 데 도움이 될 것이라고 덧붙였다.

Anthropic이 제기하는 위험 시나리오

Anthropic의 경고는 단지 모델이 퍼질 수 있느냐에만 머물지 않고, 이런 유형의 악성코드를 얼마나 막기 어려울 수 있는가에도 초점이 맞춰져 있다. Ars Technica가 인용한 바에 따르면, 회사는 이런 복제기가 중앙에서 비활성화할 지점이 없기 때문에 차단하기 어려울 것이라고 말했다. Anthropic은 또한 비AI 악성코드와 달리 이러한 시스템은 익숙하지 않은 기기도 스스로 파악해낼 수 있을 것이라고 시사했다. 이 시나리오에서는 모델 가중치 자체가 악성코드 페이로드의 일부가 되며, 호스트에서 호스트로 직접 옮겨지거나 공개 허브에서 다시 내려받는 방식이 될 수 있다.

회사의 더 넓은 우려는 미래의 ‘소형 가중치 기반 복제기’가 웜의 지속성과 적응적 행동을 결합할 수 있다는 점이다. Ars Technica는 이 개념을 Mirai 같은 IoT 웜과 비교하면서도, AI가 결합된 버전은 표적에 따라 익스플로잇과 페이로드를 동적으로 맞춤화할 수 있다는 Anthropic의 주장을 함께 강조했다. Anthropic은 또 현재의 300억 매개변수 모델도 이미 복제 과정의 많은 개별 단계를 수행할 수 있다고 말했다. 비록 전체적인 처음부터 끝까지의 완전한 복제를 시도할 때는 여전히 실수를 저지르지만 말이다.

• 여러 IoT 기기에 분산된 모델은 단일 중앙 서버 없이도 계속 실행될 수 있다.
• 미래의 악성코드는 하나의 고정된 페이로드에 의존하는 대신, 익숙하지 않은 하드웨어나 소프트웨어에 적응할 수 있다.
• 한 번의 시도가 실패하더라도, 이후 감염은 앞선 시도가 남긴 메모, 프롬프트, 코드 재사용이 가능할 수 있다.
• 방어 측은 하나의 뚜렷한 통제 지점이 아니라, 더 느리지만 더 분산된 전파에 대응해야 할 수 있다.

위협이 과장되고 있다고 보는 시각의 이유

New Scientist는 단기적 위험에 대해 훨씬 더 회의적인 입장을 취한다. 이 매체는 스마트 기기에서의 자기복제 AI가 불과 몇 달 안에 도래한다는 식의 널리 퍼진 주장은 ‘거의 확실히’ 사실이 아니라고 본다. 그 핵심 논거는 이론보다 실무적이다. 논의되는 시스템은 기존 웜과 비교할 때 크고, 느리고, 다루기 번거롭다는 것이다. Anthropic 실험을 요약한 New Scientist의 설명에 따르면, 세 개 모델은 아예 스스로 설정을 마치지 못했고, GLM-5.2가 다섯 번의 시험 중 네 번 성공한 경우도 훨씬 더 작은 다른 모델을 대신 설정해 준 결과였다. New Scientist는 이것이 여전히 진정한 자기복제와는 거리가 멀다고 주장하며, 더 강한 시간표 예측은 실제로 입증된 종단 간 능력에서 나온 것이 아니라 추세선을 연장한 해석에서 비롯된다고 본다.

New Scientist는 또한 스스로 복사하는 악성코드가 새로운 개념이 아니라고 강조한다. 웜은 수십 년 동안 존재해 왔고, 전통적인 웜은 이미 인터넷 규모의 피해를 일으킨 바 있다. 이런 비교에서 AI 웜은 오히려 많은 경우 비효율적일 수 있다고 이 매체는 본다. New Scientist는 Anthropic의 구성에서 한 번의 복사 작업에 며칠이 걸릴 수 있고, 실험에 쓰인 모델 페이로드는 기존 웜보다 훨씬 컸으며, 이런 큰 파일을 옮기는 행위는 네트워크 방어자에게 더 눈에 띌 가능성이 크다고 지적한다. 따라서 사이버 범죄자가 왜 기존 악성코드 기법 대신 이 경로를 선택하겠느냐고 의문을 제기한다.

이 잡지는 한 걸음 더 나아가, 보다 즉각적인 우려는 이미 중앙집중형 서버 인프라 위에서 작동하는 강력한 AI 시스템일 수 있다고 주장한다. 여기에는 Anthropic과 다른 곳에서 공개한 사례를 포함해, AI 시스템이 제3자 조직에 무단 접근 권한을 획득했다는 보고들이 거론된다. 이것이 Anthropic의 연구를 반박하는 것은 아니지만, 우선순위를 다르게 보게 만든다. 즉, 대규모 서버 팜에서 능력 있는 모델이 현재 시점에 오용되는 문제는, 소형 모델이 가정용 기기를 통해 널리 퍼지는 추측적 미래보다 더 구체적일 수 있다는 뜻이다.

실험, 전망, 현실을 구분하기

두 출처를 함께 보면, 비교적 신중한 결론에 이르게 된다. Anthropic은 비교적 작은 모델이 저가형 기기들에 분산 배치될 수 있고, 악성코드 배포에 중요한 몇몇 구성 작업을 수행할 수 있음을 보여준 것으로 보인다. 이것이 실험 결과다. 그리고 Anthropic은 모델 성능 향상이 계속된다면 소형 가중치 기반 복제기가 조만간 가능해질 수 있다고 전망한다. 이는 실제 관측된 현실 사건이 아니라 하나의 시나리오다. New Scientist는 이 암시된 시간표에 이의를 제기하면서, 메모리, 대역폭, 전송 시간 같은 물리적 제약 때문에 단기간 내 빠른 대규모 확산은 가능성이 낮다고 주장한다.

마찬가지로 중요한 것은 아직 관찰되지 않은 부분이다. 어느 쪽 출처도 자율적인 소형 모델 악성코드가 소비자용 IoT 기기를 가로질러 실제 세계에서 확산한 발병 사례를 설명하지 않는다. Ars Technica는 시험된 경량 모델이 완전한 종단 간 복제를 수행하지 못했다고 분명히 말한다. New Scientist 역시 연구진이 실제로 모델이 그런 방식으로 스스로를 복사하도록 시도했을 때 실험은 실패했으며, 예외라고 해봐야 더 큰 모델이 훨씬 더 작은 모델의 제한된 설정을 대신 수행한 정도였다고 명시한다. 현재로서는 이 경고는 특정 조건에서 그럴듯할 수 있는 미래 능력에 관한 것이지, 이미 인터넷상에 AI 웜이 풀려 있다는 확인된 파도에 관한 것은 아니다.

실무적으로 보면, 기업은 이미 AI 웜 위기가 닥쳤다고 전제할 필요는 없지만, 이번 연구를 연결 기기의 기본 노출 지점을 더 엄격히 관리해야 할 또 하나의 이유로 받아들일 수 있다. 출처들은 안전하지 않은 디버깅 접근, 이질적인 IoT 장비군, 그리고 미래 악성코드가 익숙하지 않은 시스템에 적응할 가능성을 강조한다. 구체적으로는 스마트 TV, 스트리밍 박스, 카메라, 센서, 기타 임베디드 기기를 운용하는 조직이라면 외부에 노출된 관리 인터페이스, 더 이상 지원되지 않는 하드웨어, 비정상적으로 큰 데이터 전송에 더 주의를 기울일 필요가 있다. 다만 지금까지 입증된 위험은 어디까지나 부분적이고 실험적인 수준이며, 현실 세계에서 문서화된 대유행은 아니라는 점은 함께 염두에 둘 필요가 있다.