토론토대, GPUThor 공격 공개…Nvidia GPU ECC 보호 뚫려

토론토대학교 연구진이 8월 하순, Nvidia GPU에 내장된 ECC(오류 정정 코드) 보호를 우회할 수 있는 새로운 공격 기법 'GPUThor'를 공개했다. Rowhammer 원리에 기반한 이 기법은 Ampere 아키텍처와 GDDR6 메모리를 탑재한 워크스테이션용 GPU——RTX A4000, A4500, A5000, A6000——에서 검증됐으며, 이들 모델은 AI 및 클라우드 인프라에서 널리 쓰이고 있다. 연구팀은 4월 29일 Nvidia에 취약점을 통보했고, Nvidia는 약 넉 달간의 조율된 공개 절차를 거쳐 8월 25일 완화 권고안을 발표했다.

AI용 GPU에 ECC가 필수적인 이유

지속적으로 높은 부하가 걸리는 메모리 칩은 우주선(cosmic ray), 전기적 간섭, 제조 결함 등으로 인해 무작위로 '비트 반전'(bit flip)이 발생할 수 있다——0으로 저장돼 있던 비트가 실수로 1로 바뀌거나 그 반대의 경우다. 일반적인 컴퓨팅 환경에서는 하나의 비트 반전이 눈에 띄지 않고 지나가는 경우가 많다. 하지만 AI 학습이나 추론 과정에서는 가중치, 그레이디언트, 활성화 값이 직접 손상될 수 있어, 학습 결과가 조용히 왜곡되거나 추론 단계에서 그럴듯하지만 틀린 결과가 아무런 경고 없이 나올 수 있다. ECC는 바로 이런 위험을 막기 위해 존재한다. 각 메모리 블록에 추가 검증 코드를 저장해, 시스템이 1비트 오류는 자동으로 정정하고 2비트 오류는 감지하도록 하는 방식으로, 이를 SECDED라 부른다. 이런 보장이 있기에 클라우드 사업자들은 같은 물리 GPU를 여러 고객이 안심하고 공유하도록 할 수 있다.

GPUThor는 어떻게 ECC를 뚫는가

GPUThor는 의도적으로 불균일(non-uniform)한 패턴으로 메모리를 '해머링'하면서, Nvidia가 그동안 문서화하지 않았던 두 가지 GPU 동작을 이용한다. 반복되는 메모리 접근 요청을 GPU가 어떻게 병합(coalesce)하는지, 그리고 GDDR6 메모리의 Target Row Refresh(TRR, 대상 행 리프레시) 메커니즘이 실제로 얼마나 자주 작동하는지다. TRR의 감지 임계값을 아슬아슬하게 밑도는 수준을 유지함으로써, GPUThor는 목표로 삼은 메모리 행을 계속 '두드려' 인접한 행에서 비트 반전을 일으킬 수 있다.

• ECC를 비활성화한 테스트 GPU에서 GPUThor는 메모리 1GB당 7만2000~37만7000회의 비트 반전을 일으켰다——연구팀의 이전 공격인 GPUHammer 대비 최대 2만3597배에 달하는 수치다.
• ECC를 활성화한 상태에서도 GPUThor는 387건의 '2비트 오류'(ECC가 감지는 하지만 정정은 못 하는 오류)와 2건의 '3비트 오류'(ECC의 정정 능력을 초과해 잘못 정정되며 데이터 손상을 일으키는 오류)를 만들어냈다.
• 악용 가능한 비트 반전을 찾는 데 걸리는 시간은 평균 약 1.1분으로 단축됐다. GPUHammer는 21.9시간이 걸렸다.
• ECC가 활성화된 RTX A6000에 지속적으로 공격을 가하면 GPU가 두 시간마다 강제로 재설정되며 실행 중인 모든 작업이 중단될 수 있고, 공격을 반복하면 카드가 스스로 교체가 필요하다고 표시하는 상태에 이를 수 있다.

서비스 거부(DoS)에 그치지 않고, 연구진은 더 심각한 시나리오도 입증했다. GPU의 페이지 테이블을 손상시키면 특별한 권한이 없는 CUDA 프로그램도 임의의 메모리 접근 권한을 얻어 호스트에서 루트 셸(root shell)을 열 수 있다——평범한 GPU 연산 작업 하나가 서버 전체의 완전한 장악으로 이어질 수 있다는 뜻이다. A100과 같은 데이터센터급 Ampere GPU는 DoS에는 비교적 강하지만 권한 상승 공격에는 여전히 취약하며, RAS Repair 보호 기능을 갖춘 Blackwell 세대 GPU조차 공격을 막지는 못하고 시간만 더 걸리게 만들 뿐이다. 연구진은 온다이(on-die) ECC를 탑재한 향후 GDDR7·HBM3e GPU 역시 다중 비트 반전 상황에서는 여전히 취약할 수 있다고 경고했다.

실제로 위험에 노출된 것은 누구인가

GPUThor가 겨냥하는 것은 개인용 PC가 아니라 AI 학습과 추론을 뒷받침하는 데이터센터 GPU 클러스터, 특히 여러 고객이 같은 물리 GPU를 공유하는 멀티테넌트 클라우드 GPU 인스턴스다——이는 대부분의 퍼블릭 클라우드 GPU 서비스가 기본적으로 채택하는 운영 방식이기도 하다. 공격자가 아주 짧은 연산 시간만 대여해도 같은 하드웨어에서 돌아가는 다른 고객의 AI 학습·추론 작업을 방해하거나 심지어 손상시킬 수 있으며, 이는 애플리케이션 계층에서는 감지하기 어려운 공급망형 위험이다. Nvidia의 권고안은 격리와 모니터링에 초점을 맞추고 있다. Nvidia가 권장하는 SYS-ECC와 IOMMU/DMA 격리 활성화, GPU 오류 텔레메트리의 지속적인 모니터링, 신뢰할 수 없는 CUDA 워크로드의 동일 하드웨어 공유 제한 등이다.

한국 기업에는 무엇이 달라지는가

AWS, Microsoft Azure, Google Cloud 등에서 GPU 인스턴스를 빌려 AI 모델을 학습·운영하는 국내 기업들에게, API 호출 뒤에 있는 물리 GPU가 거의 예외 없이 다른 테넌트와 공유되고 있다는 사실은 다시 한번 짚어볼 지점이다. GPU 클라우드 인스턴스를 처음부터 신뢰할 수 있는 격리 환경으로 단정하기 전에, 보안·인프라 담당 조직은 Nvidia가 권장하는 SYS-ECC와 IOMMU/DMA 격리가 실제로 활성화돼 있는지 제공업체에 확인하고, GPU 오류 텔레메트리에 대한 가시성을 요구하며, 멀티테넌트 GPU 격리 위험을 공급업체 보안 심사의 정식 항목으로 포함시켜야 한다. 이는 스펙 시트의 체크박스 하나가 아니라, 공유되는 그래픽카드가 실제로 어떻게 보호되고 있는지를 묻는 실질적인 질문이어야 한다.