오픈AI, 200년 난제 '나비에-스토크스 방정식' 증명…출처 논란도

오픈AI는 지난 9월 8일(현지시각) 사내 AI 모델이 밀레니엄 문제 중 하나인 나비에-스토크스 방정식의 존재성과 매끄러움 문제에 대한 증명을 내놓았다고 발표했다. 나비에-스토크스 방정식은 욕조 배수구의 소용돌이부터 비행기 날개 주변 공기 흐름, 혈관 속 혈류까지 유체의 움직임을 기술하는 데 쓰이는 핵심 방정식으로, 200년 넘게 연구돼 왔지만 모든 조건에서 해가 매끄럽게 존재하는지는 밝혀지지 않았다. 오픈AI는 자사 모델이 특정 조건에서 방정식의 해가 유한한 시간 안에 무한대로 발산하는, 이른바 '블로업(blow-up)' 현상이 일어난다는 것을 증명했다고 밝혔다. 이 문제는 클레이수학연구소가 100만 달러의 상금을 내건 밀레니엄 문제 중 하나이지만, 오픈AI가 증명한 것은 강제항이 포함된 변형된 버전으로 상금 수여 기준에는 해당하지 않으며, 회사도 상금을 요구하지 않겠다고 밝혔다.

1만 개의 AI 에이전트가 88시간 만에

오픈AI에 따르면 이번 증명은 사내 모델이 약 1만 개의 AI 에이전트를 동원해 약 88시간 만에 완성했으며, 증명 프로그래밍 언어 '린(Lean)'으로 검증까지 마쳤다. 이 발표 직전, 뉴욕대 수학자 트리스탄 벅마스터는 앤트로픽 소속 수학자 레벤트 알푀게와 함께 나비에-스토크스보다 단순한 형태인 오일러 방정식에서 같은 종류의 블로업 현상을 증명했다고 소셜미디어에 공개했다. 벅마스터는 이후 발표한 성명에서, 오픈AI가 자신들의 진행 상황에 대한 소문을 접한 뒤 같은 방법론을 채택해 나비에-스토크스 방정식까지 증명 범위를 넓혔다고 주장했다. 그는 오픈AI 연구원 세바스티앙 뷔벡과의 통화에서 두 가지 선택지, 즉 알푀게를 앤트로픽 소속이라는 이유로 저자 명단에서 빼거나 오픈AI가 단독으로 결과를 발표하는 안을 제시받았다고 밝혔다.

오픈AI 반박과 수학계의 우려

오픈AI의 뷔벡 연구원은 이러한 주장을 강하게 부인했다. 그는 사내 모델이 벅마스터와 알푀게의 연구 자료를 본 적이 없으며, 오일러 방정식에 대한 오픈AI의 접근법은 두 사람의 방법과 근본적으로 다르다고 밝혔다. 다만 나비에-스토크스 방정식에 대한 최종 증명은 두 사람이 사용한 방법과 유사한 경로를 따랐다는 점은 인정했다. 오픈AI는 공식 발표문에서 두 사람의 연구를 공개 전에 열람한 적이 없으며, 특정 사용자 데이터를 증명에 활용하지도 않았다고 밝혔다. 다만 두 사람이 오픈AI 제품을 사용하면서 생성된 비식별화 데이터가 모델 성능 개선에 간접적으로 기여했을 가능성까지는 배제하지 않았다. 샘 올트먼 오픈AI 최고경영자도 소셜미디어를 통해 사전 조율이 이뤄졌으면 더 좋았을 것이라며 아쉬움을 표했다.

• 발표일: 2026년 9월 8일(현지시각)
• 증명 방식: AI 에이전트 약 1만 개, 약 88시간 소요
• 검증 도구: 정리 증명 언어 '린(Lean)'
• 경쟁 진영: 벅마스터(뉴욕대)·알푀게(앤트로픽)가 앞서 오일러 방정식 블로업 증명
• 밀레니엄 문제 상금: 클레이수학연구소 100만 달러, 이번 증명은 대상 외

오픈AI가 활용한 핵심 기법은 '강제(forcing)'라 불리는 방법으로, 원래 수학자 디에고 코르도바와 루이스 마르티네스-소로아가 개발한 접근법이다. 코르도바는 이번 발표에 대해 "우리는 다소 충격을 받은 상태"라며, 그것이 사실이라면 자신들에게도 큰 놀라움이 될 것이라고 말했다. 벅마스터와 알푀게는 나비에-스토크스보다 단순한 다공성 매질 방정식, 2차원 부시네스크 방정식, 3차원 비압축성 오일러 방정식 등 여러 관련 문제에서 이미 블로업을 증명한 예비 논문과 린 형식화 자료를 공개한 상태였다.

이번 사건이 주목받는 이유는 단순한 우선권 다툼을 넘어선다. 수학자 트리스탄 벅마스터는 이를 1997년 IBM 딥블루가 체스 챔피언 가리 카스파로프를 꺾은 순간에 비유하며, 학계가 AI의 역할에 대해 신중하고 진지한 논의를 시작해야 한다고 말했다. 시드니대 수학자 준자나 단초는 오픈AI의 대응이 출처를 밝히고 공동 연구자를 인정하는 수학계의 기본 윤리를 거스른 것이라고 지적했다. 무엇보다 이 증명은 아직 독립적인 동료 심사를 거치지 않았다는 점에서, 실제 검증된 성과인지 발표 효과를 노린 주장인지는 좀 더 지켜봐야 한다는 신중론도 나온다.

한국 수학계에도 이번 사건은 시사하는 바가 크다. 국내에서는 정부가 독자 파운데이션 모델 개발과 '3대 AI 강국' 도약을 정책 목표로 내걸고 있지만, 정작 AI를 활용한 정리 증명이나 형식 검증 연구는 아직 초기 단계에 머물러 있다. 오픈AI와 앤트로픽처럼 서로 다른 기업의 모델이 같은 난제를 동시에 공략하고 그 결과를 둘러싸고 우선권 분쟁까지 벌어지는 상황은, 한국 대학과 연구기관에도 AI 기반 수학 연구의 성과를 어떻게 인정하고 검증할 것인지에 대한 기준 마련이 시급하다는 점을 보여준다. 성과를 서둘러 홍보하기 전에 동료 심사와 재현 가능성부터 갖추는 것이, 이번 논란이 남긴 가장 실질적인 교훈이다.