Google Research, AI 영상 공동감독 공개: 장시간 비디오 일관성 향상 멀티‑에이전트 시스템

Google Research는 AI 영상 공동감독이라는 통합 멀티‑에이전트 프레임워크를 발표했습니다. 이 시스템은 확장된 일관된 영상을 하나의 최적화 및 세계 상태 추적 문제로 간주합니다. Gemini와 Veo 기반 모델 위에 구축되었으며 SynthID 워터마크와 같은 보안 보호 장치를 물려받았습니다.

아키텍처를 이끄는 네 가지 기둥

아키텍처는 네 개의 뚜렷한 기둥으로 구성됩니다. Co‑Director는 다중 팔 밴딧 알고리즘을 통해 창의적 계획을 담당하고, CANVAS는 지속적인 시각 메모리를 이용해 시각 스토리보드를 관리하며, A²RD는 멀티모달 비디오 메모리를 활용해 구간별 영상을 생성하고, VQQA는 시각 질문‑답변을 통해 폐쇄‑루프 정제를 수행합니다.

Co‑Director의 핵심은 Orchestrator이며, 이는 다중 팔 밴딧을 이용해 창의적 구성(전략, 서사 모드, 미적 원형)을 선택합니다. 선택된 구성은 사전 제작 에이전트를 구동해 스토리보드를 작성하고, 이후 키프레임, 비디오, 오디오 전용 서브‑에이전트가 미디어 자산을 생산합니다. 대형 언어 모델 판정자가 보상 신호를 밴딧에 반환해 반복 최적화를 가능하게 합니다.

CANVAS가 시각 연속성을 유지한다

CANVAS는 구조화된 시각 메모리를 보존함으로써 의미적 표류와 배경 불일치를 방지합니다. HardContinuityBench의 “박물관 강도” 테스트에서 CANVAS는 도둑의 모자와 도난된 보석을 장면 전반에 걸쳐 유지했지만, Gemini‑3.1‑Pro와 AutoStudio는 해당 속성 및 설정을 변경했습니다.

시각 메모리는 매 프레임 생성 후 업데이트되며, 시스템은 새로운 콘텐츠를 구성할 때 이전 시각 사실을 참조할 수 있습니다. 이 메커니즘은 생성 모델이 객체를 놓치거나 서사적 근거 없이 환경을 바꾸는 일반적인 실패 모드를 직접 해결합니다.

A²RD는 추가 학습 없이 몇 분짜리 영상을 만든다

A²RD는 검색‑합성‑정제‑업데이트 루프를 따르며 기본 Gemini와 Veo 모델 외에 추가 학습이 필요 없습니다. 이 아키텍처는 새로운 서사 비트를 창출하는 외삽과 재발 등장 엔티티를 고정하는 내삽을 자동으로 전환합니다. 10분 연속 시연에서는 전체 영상 동안 캐릭터 정체성이 안정적으로 유지되었습니다.

A²RD는 작업‑특정 미세 조정에 의존하지 않기 때문에 1분에서 10분까지 다양한 길이의 이야기에 적용할 수 있으며, 시각적·서사적 일관성을 동시에 보존합니다.

VQQA가 시각 질문‑답변으로 결과를 다듬는다

VQQA는 중간 영상 출력에 대해 시각 질문을 생성하고, 비전‑언어 모델을 사용해 의미적 그라디언트를 계산합니다. 이 그라디언트는 프롬프트 텍스트를 재작성하고, 전역 선택기가 모든 반복 중 최상의 영상을 선택합니다. 이 접근법은 기존 베이스라인 파이프라인에 비해 T2V‑CompBench에서 11.57 %, VBench2에서 8.43 %의 절대 향상을 기록했습니다.

• Co‑Director: GenAD‑Bench에서 81.4점, 인간 평점 3.96/5
• CANVAS: 배경 연속성 +21.6 %, 캐릭터 일관성 +9.6 %, 소품 안정성 +7.6 %
• A²RD: 전체 일관성 최대 +30 %, 1‑10 분 클립에서 서사 일관성 +20 %
• VQQA: T2V‑CompBench에서 +11.57 %, VBench2에서 +8.43 %

이 수치들은 Google Research가 내부 벤치마크에서 보고한 것으로, 각 기둥이 기존 기준 대비 측정 가능한 개선을 제공함을 보여줍니다.

하지만 기대되는 수치에도 불구하고 프레임워크에는 몇 가지 한계가 문서화되어 있습니다. CANVAS의 소스 코드는 공개되지 않아 시각 메모리 구현을 독립적으로 검증할 수 없습니다.

전체 파이프라인은 아직 상용화되지 않아 기업이 Google로부터 즉시 구매할 수 있는 턴키 솔루션이 제공되지 않습니다.

모든 벤치마크 시나리오는 합성 데이터에 기반하므로 실제 제작 파이프라인의 복잡성을 완전히 반영하지 않으며, 10분 이상의 영상에 대한 확장성을 입증하는 공개 데이터도 없습니다.

SynthID 워터마크 외의 보안 분류기들은 상세히 설명되지 않아 추가 안전 계층의 효과가 불확실합니다.

기업을 위한 실용적 함의

이미 미디어 제작에 생성 AI를 활용하고 있는 조직에게 AI 영상 공동감독은 더 길고 일관된 출력물을 만들 수 있는 실현 가능한 경로를 제시합니다. 네 기둥의 모듈식 구조 덕분에 팀은 전체 솔루션을 기다리지 않고도 CANVAS를 통한 스토리보드 일관성 강화나 VQQA를 통한 반복 정제와 같은 개별 컴포넌트를 채택할 수 있습니다.

보고된 성과는 다중 팔 밴딧 플래너를 통합하면 일관된 서사를 달성하기 위해 필요한 수동 수정 횟수를 크게 줄여 제작 비용을 낮출 수 있음을 시사합니다. 다만 코드가 공개되지 않았고 파이프라인이 패키징되지 않았기 때문에 기업은 내부 엔지니어링 리소스를 투입해 개념을 프로토타입해야 합니다.

또한 보안 측면을 신중히 평가해야 합니다. SynthID가 워터마크를 제공하지만 추가 안전 분류기의 성능이 알려지지 않았으므로, 어떤 배포에서도 자체적인 콘텐츠‑모더레이션 방안을 마련해야 합니다.

요약하면 Google Research의 AI 영상 공동감독은 연속성, 캐릭터 안정성 및 서사 흐름에서 정량적 개선을 제공하는 설득력 있는 청사진을 제시합니다. 채택을 위해서는 내부 개발 노력, 합성 벤치마크의 실제 적용 가능성 평가, 그리고 보완적인 안전 조치가 필요하지만, 이 아키텍처는 장시간 AI‑생성 영상이 훨씬 적은 수동 개입으로 제작될 수 있는 미래를 예고합니다.