OpenAI 잘라페뇨 칩, 첫 벤치마크서 엔비디아 앞서

OpenAI는 2026년 8월 25일 화요일 열린 핫칩스 콘퍼런스를 통해 자체 개발 중인 추론 칩 잘라페뇨에 대해 지금까지 가장 상세한 정보를 공개하며, 새 시스템에 대한 첫 벤치마크 결과를 발표했다. 세미애널리시스(SemiAnalysis)의 인퍼런스X(InferenceX) 벤치마크로 테스트한 결과, 잘라페뇨는 사용자당 처리하는 토큰 수와 킬로와트당 처리량 모두에서 현재 사용 가능한 최고 성능의 추론 프로세서를 앞섰다. OpenAI가 자사의 자체 칩 전략에 대해 공개 수치를 제시한 것은 이번이 처음이다.

핵심은 이번 결과가 기존 최고 수준의 기술에 비해 매우, 매우 significant한 성능 향상을 보여준다는 것입니다. 잘라페뇨는 단위 전력당 더 많은 AI 작업을 처리하면서도 더 빠르게 응답을 돌려줄 수 있습니다. 많은 고객을 서비스하는 데 매우 효율적이면서도 동시에 매우 낮은 지연시간을 제공할 수 있습니다.

잘라페뇨와 엔비디아 블랙웰의 비교

OpenAI가 공개한 비교는 대규모 AI 추론 분야에서 현재 업계 기준으로 통하는 엔비디아의 블랙웰 아키텍처 기반 시스템을 상대로 이뤄졌다. OpenAI의 하드웨어 담당 부사장 리처드 호는 기자들에게 잘라페뇨가 이른바 "두 마리 토끼를 다 잡는" 결과를 낸다고 말했다. 낮은 지연시간과 높은 처리량을 동시에 제공한다는 뜻으로, 보통 AI 시스템은 둘 중 하나를 선택해야 한다. OpenAI 스스로도 이번 비교는 한 시점의 스냅숏일 뿐이며, 잘라페뇨가 완전히 배포될 무렵에는 경쟁 하드웨어 역시 크게 발전해 있을 가능성이 높다고 인정했다.

• GPT-OSS 120B, 딥시크 R1, Kimi K2.5 1T 모델 전반에서 비교 대상인 엔비디아 GB200·GB300 시스템 대비 와트당 1.5배에서 1.9배 더 많은 AI 작업 처리
• 동일한 세 모델에서 종단간(end-to-end) 지연시간이 1.7배에서 3.6배 더 낮음
• AI 시스템이 추론 작업을 어떻게 처리하는지 측정하기 위해 세미애널리시스가 구축한 테스트 플랫폼 인퍼런스X로 벤치마크 진행
• 테스트 시점 기준 공개된 최고 기록과 비교, 엔비디아의 슈퍼칩 GB200과 GB300 사용

브로드컴과 협력, OpenAI 자체 모델도 활용해 개발

잘라페뇨는 OpenAI가 브로드컴과 긴밀히 협력해 개발했으며, OpenAI는 자사 모델이 칩 개발 과정에 활용됐다고 밝혔다. OpenAI는 잘라페뇨를 AI 제품, 모델, 칩, 메모리를 사후에 개별적으로 맞추는 대신 함께 설계하는 다세대 플랫폼의 시작으로 자리매김하고 있다. OpenAI에 따르면 이런 '풀스택' 접근 방식 덕분에 엔지니어들은 추론 과정에서 흔히 마찰을 일으키는 특정 단계들, 특히 시스템이 사용자가 보낸 모든 내용을 처리하고 해석하는 '프리필(prefill)' 단계와 그 뒤를 잇는, 작업량이 늘어날수록 병목이 되기 쉬운 통신 단계를 집중적으로 공략할 수 있었다.

저희는 데이터 이동과 통신 지연을 최소화하도록 잘라페뇨를 설계했습니다. 이는 응답 생성 중 사용되는 KV 캐시를 포함한 모델 상태를 명시적으로 배치하고 로컬에 유지할 수 있으며, 그와 동시에 시스템이 각 추론 단계에 맞는 연산, 메모리, 네트워킹의 적절한 조합을 활성화할 수 있다는 뜻입니다.

작은 규모의 첫 배포, 엔비디아와의 완전한 결별은 아니다

호는 잘라페뇨가 2026년 말까지 '아주 소량'으로 배포될 것으로 예상되며, 더 본격적인 배포는 2027년에 이뤄질 것이라고 말했다. OpenAI는 내년에 몇 개의 칩을 배포할 계획인지는 밝히지 않았다. 벤치마크 결과에도 불구하고 호는 OpenAI가 컴퓨팅 인프라 전체를 잘라페뇨로 교체할 계획이 없다는 점을 분명히 했다. 그는 회사의 전반적인 컴퓨팅 전략에는 엔비디아를 포함해 여전히 '매우 좋은 파트너들'이 포함돼 있다고 말했으며, OpenAI는 기존 공급업체로부터의 구매를 계속하는 동시에 새 칩의 2세대, 3세대 개발도 이어갈 계획이라고 밝혔다.

잘라페뇨 자체는 올해 초 이미 공개적으로 발표된 바 있는데, 정확한 시점에 대해서는 보도가 엇갈려 일부는 2025년 10월, 다른 일부는 2026년 6월을 최초 발표 시점으로 전한다. 화요일 행사는 이런 애초 구상을 뒷받침하는 최초의 구체적인 성능 수치를 제공한 자리였다. OpenAI는 하드웨어, 메모리, 네트워크를 따로 구매하는 대신 함께 조정하며 세대를 거듭해 이 플랫폼을 계속 발전시켜 나갈 계획이다.

한국 기업들의 실서비스 AI 운영에 무엇이 달라지나

임대한 AI 추론 능력 위에서 제품을 운영하는 한국 기업들에게 잘라페뇨는 살 수 있는 칩이라기보다는 — OpenAI는 이를 외부 고객에게 판매하지 않는다 — 앞으로 2~3년간 추론 비용과 지연시간이 어디로 향할지를 보여주는 신호에 가깝다. 토큰당 서비스 비용을 낮추기 위해 경쟁하는 클라우드 업체와 AI 연구소들은 시간이 지나면서 효율성 향상분을 더 저렴한 API 요금이나 동일 가격에서의 더 빠른 응답 형태로 고객에게 넘겨주는 경향이 있다. 현재 GPU 기반 추론 능력에 비용을 지불하고 있으며 엔비디아 기반 클라우드 업체와 장기 계약을 맺을지 고민 중인 한국 기업들에게, 이번 결과는 오늘의 가격과 지연시간이 고정된 한계가 아니며 추론 하드웨어를 단일 공급업체에 의존하는 상황이 2027년까지는 달라질 수 있다는 구체적인 근거를 하나 더 제공한다.