페이페이 리의 월드랩스, 세계 모델 아틀라스 공개

스탠퍼드대 교수이자 AI 분야의 선구자로 꼽히는 페이페이 리가 창업한 인공지능 스타트업 월드랩스가 9월 1일 새로운 세계 모델 '아틀라스(Atlas)'를 공개했다. 회사는 이를 텍스트, 이미지, 동영상, 3D 데이터를 하나의 시스템 안에서 네이티브로 처리하도록 설계된 '옴니 모델'이라고 설명하며, 아틀라스는 단 한 장의 사진만으로 실제 3D 장면을 재구성하고, 정밀한 카메라 제어가 가능한 1분 분량의 고해상도 동영상을 생성하며, 로봇이 시뮬레이션 환경에서 학습하는 데 필요한 깊이 데이터까지 만들어낼 수 있다고 밝혔다. 페이페이 리는 이번 발표를 월드랩스의 이정표적 성과라고 평가하며, 아틀라스가 시각효과부터 로봇공학에 이르기까지 다양한 응용 분야의 문을 연다고 말했다.

아틀라스가 실제로 할 수 있는 것

• 카메라 제어 생성: 참조 이미지 한 장에서 최대 여섯 장으로, 아틀라스는 픽셀 단위의 카메라 제어가 가능한 동영상을 생성하며 최대 1분, 1440p 해상도의 영상을 출력한다.
• 공간 재구성: 한 장에서 수십 장, 때로는 100장이 넘는 입력 이미지를 받으면, 아틀라스는 새로운 시점의 영상 프레임과 포인트 클라우드, 3D 가우시안 스플랫 같은 명시적인 3D 출력을 모두 생성하며, 3D 재구성에 특화된 최신 모델들을 능가하는 성능을 보인다.
• 시공간 시뮬레이션: 몇 대의 스마트폰으로 촬영한 평범한 동영상만으로도, 아틀라스는 장면을 정지시켜 불가능한 각도에서 다시 구성할 수 있으며, 로봇이 생성된 환경에서 훈련하고 시험할 수 있는 '실제에서 시뮬레이션으로'의 작업 흐름을 뒷받침한다.
• 이미지 생성: 아틀라스는 텍스트로부터 이미지와 360도 파노라마를 생성하며, 복잡한 지시를 따르고 읽을 수 있는 문자를 렌더링하며 다양한 시각적 스타일을 폭넓게 구현한다.

기술적으로 아틀라스는 월드랩스가 '멀티모달 자기회귀 확산 트랜스포머'라고 부르는 구조로, 기존 동영상 모델이나 언어 모델을 개조한 것이 아니라 처음부터 새로 학습시킨 모델이다. 텍스트, 이미지, 카메라 위치, 3D 깊이 지도 등 모든 입력은 공유된 공간적 맥락 안의 한 위치에 고정되며, 아틀라스는 그 맥락에 이미 존재하는 모든 정보를 조건으로 삼아 새로운 출력을 생성한다. 예를 들어 서로 아무 관련이 없는 두 장의 사진이라도 각각을 3D 공간 속 위치에 배치하면, 아틀라스는 이를 하나의 자연스럽고 연속적인 세계로 이어붙일 수 있다. 이 점에서 아틀라스는 부정확한 텍스트 프롬프트로 카메라 움직임을 조정하는 소라 방식의 동영상 생성 모델과 구별된다. 아틀라스는 카메라 궤적과 장면의 기하학적 정보를 네이티브 입력으로 받아, 텍스트만으로는 불가능한 프레임 단위의 정밀한 제어를 구현한다. 카메라 제어 생성과 희소 시점에서의 3D 재구성이라는 두 가지 핵심 과제에 대한 정량 평가에서, 월드랩스는 아틀라스가 주요 동영상 모델과 3D 재구성에 특화된 최고 수준의 시스템을 모두 능가했으며, 카메라 궤적이 복잡할수록 그 격차가 커진다고 밝혔다. 또한 학습에 투입하는 연산 규모가 커질수록 성능이 계속 향상되고 있다고 설명했다.

시각효과를 넘어 로봇에 건 승부수

이번 발표는 월드랩스가 올해 이어온 행보의 연장선에 있다. 지난 6월 페이페이 리는 세계 모델을 렌더러, 시뮬레이터, 플래너 세 가지로 분류하는 틀을 제시하며, 렌더링과 행동이 공통으로 의존하는 기하학, 물리, 동역학을 담당하는 시뮬레이터가 가장 중요하다고 강조했다. 7월 21일에는 로봇 시뮬레이션 스타트업 스시닉스(SceniX)를 인수했고, 일주일 뒤인 7월 28일에는 로봇공학의 가장 큰 걸림돌이 저렴하고 통제 가능하며 확장 가능한 학습 경험의 부족이라는 문제의식 아래 '실제에서 시뮬레이션으로, 다시 실제로' 이어지는 시스템을 공개했다. 아틀라스는 이 모든 작업을 잇는 연결고리로, 평범한 사진이나 동영상을 3D 공간으로 바꾸고, 이를 다시 로봇이 학습에 필요로 하는 센서 시점과 가변적인 시뮬레이션 환경으로 전환할 수 있다. 페이페이 리의 제자이자 엔비디아에서 로봇공학 연구를 이끄는 짐 판은 이번 발표를 로봇공학 분야에서 '실제에서 시뮬레이션으로'의 작업이 크게 진전된 사례라고 평가했다.

세계 모델은 가능한 모든 세계를 생성하고 재구성하고 시뮬레이션함으로써, 창작자를 위해 상상 속 세계를 그려내고 실제 세계를 고정밀로 시뮬레이션하며 로봇이 행동을 계획하도록 돕는다.

월드랩스는 아틀라스를 단계적으로 공개하고 있으며, 우선 일부 파트너에게 얼리 액세스를 제공하고 나머지 사용자는 회사 웹사이트에서 접근을 신청할 수 있다고 밝혔다. 회사는 아틀라스를 자사의 기존 인터랙티브 월드 제품인 마블(Marble)의 향후 버전과 나머지 제품군의 기반 모델로 자리매김시키고 있다. 한국의 AI 연구소, 게임 및 시각효과 스튜디오, 로봇공학 기업 입장에서 실질적인 변화는 활용 가능한 3D 데이터를 얻는 비용이 크게 낮아진다는 점이다. 값비싼 촬영 장비나 수개월에 걸친 전문적인 3D 재구성 작업 대신, 평범한 사진 몇 장이나 스마트폰 동영상 한 편만으로도 시뮬레이션 환경, 게임 스테이지, 로봇 훈련장을 만드는 출발점이 될 수 있다. 다만 이는 더 많은 업계 관계자가 실제로 아틀라스를 시험해 본 뒤에도 이번 초기 결과가 그대로 입증되는 것을 전제로 한다.

특히 한국은 삼성전자, 현대자동차, LG전자 등 대기업을 중심으로 로봇공학과 스마트팩토리, 자율주행 시뮬레이션에 대규모로 투자해 온 만큼, 값싼 3D 학습 데이터를 만들어내는 도구의 등장은 연구개발 비용 구조 자체에 영향을 줄 수 있다. 게임 업계 역시 언리얼엔진이나 유니티 기반 제작 파이프라인에 아틀라스와 같은 생성형 3D 도구를 접목하려는 시도가 이어질 가능성이 크며, 국내 스타트업이 자체 3D 캡처 장비 없이도 실사 기반 가상환경을 시험해볼 수 있는 문턱이 낮아진다는 점도 주목할 만하다. 다만 월드랩스가 아직 상세한 가격 정책이나 상용 라이선스 조건을 공개하지 않은 만큼, 국내 기업들이 실제 도입을 검토하기까지는 얼리 액세스 결과와 데이터 사용 조건을 좀 더 지켜볼 필요가 있다.