구글, AI 에이전트·보안 특화 TPU 8tx와 8i Max 공개

구글은 2026년 11월 9일 8세대 TPU의 새로운 시스템인 TPU 8tx와 TPU 8i Max를 공개했다. 구글의 설명에 따르면 한 해에 TPU 시스템 4종을 내놓는 것은 이번이 처음이다. 일본 매체 기가진(GIGAZINE)의 보도에 따르면 TPU 8tx는 AMD CPU와 결합해 기밀 데이터를 안전하게 처리하는 구성이고, TPU 8i Max는 칩 두 개를 하나의 패키지로 묶어 처리 성능을 끌어올린 모델이다.

TPU(Tensor Processing Unit)는 구글이 AI 학습과 추론을 위해 직접 설계하는 프로세서를 말한다. 구글은 2026년 4월 구글 클라우드 넥스트에서 대규모 학습용 TPU 8t와 실시간 추론용 TPU 8i를 먼저 공개했다. 구글에 따르면 이전 세대와 비교해 TPU 8t는 학습 성능이 최대 2.7배, TPU 8i는 추론 가격 대비 성능이 80% 향상됐다. 이번 신제품 2종은 이 두 제품에 이어지는 세 번째와 네 번째 시스템이다.

TPU 8tx: 처리하는 동안에도 데이터를 보호한다

데이터는 저장할 때와 네트워크로 보낼 때는 보통 암호화되지만, 컴퓨터가 처리하는 동안에는 메모리에서 암호를 풀어야 한다. 기밀 컴퓨팅은 이렇게 사용 중인 데이터와 AI 모델 자체의 가중치를 보호하려는 기술이다. 자율적으로 움직이는 AI 에이전트에게 민감한 정보를 맡기려는 기업과 정부에게는 현실적인 과제다.

구글에 따르면 TPU 8tx는 TPU 8t와 같은 실리콘을 쓰고, 호스트 CPU로 5세대 AMD EPYC 프로세서를 결합한다. 보안 기능을 하드웨어 계층에 직접 넣어, AI가 실제로 작동하는 중에도 민감한 데이터와 모델 가중치를 보호하고 격리한다는 설명이다. 실시간 추론을 위해 개발한 저지연 네트워크 기술 보드플라이(Boardfly)도 채택해, 구글은 TPU 8t 대비 지연 시간을 최대 절반까지 줄였고 성능 손실은 거의 없다고 밝혔다.

TPU 8tx는 소규모 학습에도 쓸 수 있다. 기업은 비공개 데이터로 모델을 추가 학습(파인튜닝)하고, 큰 모델의 능력을 작은 모델로 옮기는 증류를 수행하며, 시행착오를 통해 에이전트를 개선하는 강화학습도 실행할 수 있다. 이 모든 작업을 민감한 데이터를 다른 클러스터로 옮기지 않고 한 시스템에서 처리할 수 있다는 것이 구글의 설명이다. 대상은 최첨단 모델이나 자체 모델을 가장 민감한 데이터와 함께 운영하는 규제 산업 기업과 정부 기관이다.

TPU 8i Max: 메모리 장벽에 맞선 2칩 구성

AI가 한 번에 참조할 수 있는 정보의 양을 컨텍스트 윈도라고 부른다. 수십 개의 AI 에이전트가 소프트웨어 코드 전체나 몇 시간 분량의 영상을 동시에 다루면 메모리 대역폭이 곧바로 병목이 된다. 구글은 이 문제를 메모리 장벽이라고 부른다.

TPU 8i Max는 지연 시간이 짧은 기존 TPU 8i 칩 두 개를 하나의 패키지에 결합했다. 구글에 따르면 TPU 8i와 비교해 연산 성능, SRAM 용량, 고대역폭 메모리(HBM) 전송 속도가 각각 2배다. 기존 서버 랙과 같은 설치 면적에 두 배의 실리콘을 넣을 수 있어, 데이터센터는 면적당, 전력당 더 많은 연산 능력을 배치할 수 있다.

• 발표일: 2026년 11월 9일(구글 블로그)
• 8세대 TPU는 4개 시스템: 8t(학습), 8i(추론), 8tx(기밀 처리), 8i Max(대규모 컨텍스트)
• TPU 8tx: TPU 8t 대비 지연 시간 최대 절반, 성능 손실 거의 없음(구글)
• TPU 8i Max: TPU 8i 대비 연산 성능, SRAM, HBM 대역폭 각각 2배(구글)

새로운 칩이 아니라 새로운 시스템

구글은 칩을 새로 설계하는 일과 시스템을 새로 만드는 일을 구분한다. 칩 설계는 수십억 개의 트랜지스터를 배치하는 여러 해짜리 작업이지만, 시스템은 칩 주변의 연산, 네트워크, 스토리지, 패키징, 보안을 다시 조합하는 일이어서 몇 년이 아니라 몇 달 만에 전용 장비를 내놓을 수 있다고 한다. 기가진에 따르면 순다르 피차이 최고경영자는 구글 딥마인드 연구자와 공동으로 설계하기 때문에 기존 반도체 개발 주기를 기다리지 않고 고객을 위한 혁신을 이어갈 수 있다고 말했다.

소프트웨어 측면에서 구글은 지난달 오픈소스로 공개한 토치TPU(TorchTPU) 덕분에 PyTorch 코드와 허깅페이스(Hugging Face) 모델을 코드 수정 없이 TPU에서 그대로 실행할 수 있다고 설명했다. vLLM, SGLang 같은 추론 엔진용 TPU 백엔드도 제공한다. TPU 설정과 최적화를 돕는 새 오픈소스 에이전트 도구 모음은 미리보기 단계이며, 클로드 코드(Claude Code), 커서(Cursor), 구글 안티그래비티 같은 코딩 도구와 연결된다. 구글에 따르면 TPU 고객은 이미 100곳에 가깝고, 최첨단 AI 연구소, 트레이딩 회사, 소매업체, 대학이 포함돼 있다.

아직 알려지지 않은 것

TPU 8tx와 TPU 8i Max의 구체적인 출시일과 가격은 기가진이 기사를 작성한 시점에는 공개되지 않았다. 위에 인용한 성능 수치는 모두 구글이 발표한 것이며, 우리가 읽은 자료에는 제3자의 독립적인 검증 결과가 없다. AI타임스 같은 국내 매체는 이번 제품을 엔비디아를 추격하는 움직임으로 보도했지만, 우리가 실제로 읽을 수 있었던 두 자료에는 엔비디아 GPU와의 직접 비교가 담겨 있지 않다. 경쟁 구도는 시장의 배경일 뿐 측정된 결과가 아니다.

한국 기업에 어떤 의미가 있는가

AI 에이전트 도입을 검토하는 금융, 의료, 공공 분야의 한국 기업에게 이번 발표는 선택지가 넓어졌다는 의미를 가진다. 민감한 데이터를 보호된 환경 밖으로 옮기지 않고 모델을 추가 학습하거나 증류할 수 있다는 설계는 데이터 유출을 우려하는 조직이 검토할 만한 근거가 된다. 다만 출시 시기와 가격이 공개되기 전이므로, 도입 계획은 공식 정보를 기다린 뒤 세우는 것이 현실적이다. PyTorch 자산을 그대로 쓸 수 있다는 점은 이미 AI 개발 조직을 갖춘 기업이 전환 부담을 가늠하는 첫 기준이 된다.