AI 리더들, 감속과 자율규제와 공공규제를 두고 갈라지다

드림포스에서 드러난 분기점

인공지능 안전을 둘러싼 최근 공개 논쟁은 단순히 산업계와 정부가 맞서는 구도가 아니었다. 그것은 가장 영향력 있는 기술 기업 경영자들이 같은 긴장선 위의 서로 다른 지점에 서 있음을 보여줬다. 쟁점은 AI 최전선을 얼마나 빠르게 밀고 나갈 것인가, 누가 언제 멈출지를 결정할 것인가, 규제는 피해가 발생하기 전에 작동해야 하는가 아니면 주로 사후 책임으로 작동해야 하는가였다. TechCrunch에 따르면 엔비디아 최고경영자 젠슨 황은 2026년 9월 15일 드림포스에서 AI 안전은 근본적으로 엔지니어링 문제라고 말했다. 그의 관점에서 기존 법과 시장의 힘은 기업이 불안전한 출시를 피하도록 만들기에 이미 충분하다. 황은 또한 기업이 제품 안전에 확신이 없다면 출시를 중단해야 한다고 말했다.

황의 입장이 중요한 이유는 엔비디아가 AI 인프라 경제의 중심에 있기 때문이다. TechCrunch가 보도한 그의 주장은 속도와 안전이 반드시 대립하는 선택지라는 전제를 거부한다. 그는 기업들이 가능한 한 빠르게 전진하되, 제품을 통제할 수 없다고 판단되면 멈춰야 한다고 본다. 이 차이는 중요하다. 결정권은 기업 내부에 남고, 엔지니어링 신호, 제품 책임, 상업적 위험이 그 결정을 이끈다. 또한 법적 노출, 평판 손상, 고객 압력이 위해를 초래할 수 있는 시스템을 내놓으려는 회사를 단속할 것이라는 가정이 깔려 있다. 이 틀에서는 시장의 일반 메커니즘이 부족하다는 점이 드러나기 전까지 공공 기관이 프런티어 전체의 브레이크를 정의할 필요가 없다.

저커버그는 인센티브를 강조

CNBC는 메타 최고경영자 마크 저커버그가 황의 입장에 가까운 견해를 보였다고 보도했다. 저커버그에 따르면 신뢰와 정렬은 단순한 규정 준수 부담이 아니라 차별화 능력이 되고 있다. 고객, 파트너, 개발자가 안정적으로 행동하는 시스템을 보상한다면 안전 작업은 제품 경쟁의 일부가 된다. 그는 또한 책임 위험이 이미 존재하는 인센티브라고 지적했다. 기업은 자사 제품이 피해를 일으키면 결과를 감당할 수 있다는 사실을 알고 있기 때문이다. 저커버그는 메타가 안전과 보호를 이유로 Muse를 연기한 사례를 들며, 이는 업계 전체의 합의를 기다리지 않고 이뤄진 결정이라고 설명했다.

이 사례는 자율규제를 옹호하는 논리의 핵심이다. 저커버그의 설명과 CNBC 보도에 따르면 Muse 연기는 안전 또는 보호 문제가 해결되지 않았을 때 기업이 출시 전에 스스로 멈출 수 있음을 보여준다. 그러나 같은 사례는 공적 가시성의 한계도 보여준다. 외부인은 연기가 있었다는 사실을 볼 수 있지만, 그 판단을 만든 내부 테스트, 기준값, 의견 충돌을 자동으로 들여다볼 수는 없다. 자발적 중단은 책임 있는 행동일 수 있지만, 여전히 나중의 배포에서 이익을 얻을 당사자가 내린 결정이다. 그렇다고 그 의미가 사라지는 것은 아니다. 다만 신중하다는 발표와 독립적으로 검증 가능한 안전 절차를 구분해야 한다.

올트먼은 두려움을 정당한 것으로 본다

샘 올트먼은 더 신중한 공개 노선을 택했다. 브리프에 따르면 올트먼은 대중이 두려워하는 것은 옳고, 안전과 감독은 기능보다 앞서야 하며, 정렬과 안전이 능력보다 앞서지 못한다면 기업은 속도를 늦추거나 멈춰야 한다고 말했다. 이는 AI 개발을 포기하자는 말은 아니지만 입증 책임을 바꾼다. 올트먼의 틀에서 질문은 제품이 거의 준비된 시점에 기업이 위험을 감지할 수 있는지에 그치지 않는다. 안전 프로그램이 그것이 통제해야 할 시스템보다 더 빠르게 전진하고 있음을 보여줄 수 있는지도 문제다. 그 균형이 무너지면 감속은 홍보상의 선택이 아니라 의무가 된다.

올트먼의 입장은 이 논쟁의 핵심 긴장도 품고 있다. 그는 연구소 간 조정을 지지하지만, 동시에 기업이 올바르게 행동할 것이라고 대중에게 믿어 달라고 요구한다. 주요 연구소들이 특정 능력 기준에는 더 많은 검토가 필요하다고 합의한다면 경쟁의 동학은 줄어들 수 있다. 그러나 같은 연구소들이 기준을 정의하고, 증거를 해석하고, 계속 나아갈 시점을 결정한다면 신뢰 문제는 남는다. 대중은 위험의 심각성과 기업 판단의 충분성을 동시에 받아들이도록 요구받는다. 선점의 경제적 보상이 크고, 어떤 피해는 배포 후에야 드러날 수 있다는 점을 고려하면 이는 어려운 조합이다.

각 입장이 뜻하는 것

• TechCrunch 보도에 따르면 황의 관점은 AI 안전을 기존 법과 시장의 틀 안에서 엔지니어링과 제품 통제 문제로 본다.
• CNBC가 전한 저커버그의 주장은 신뢰, 정렬, 책임 위험이 이미 기업을 더 안전한 행동으로 밀어붙인다는 것이다.
• 메타의 Muse 연기는 저커버그가 업계 합의를 기다리지 않은 자발적 안전 결정으로 제시한 사례다.
• 올트먼은 대중의 두려움이 정당하며 안전, 정렬, 감독이 능력 공개보다 앞서야 한다고 말한다.
• 다리오 아모데이는 프런티어 감속, 연구소에 내장된 제3자 평가자, 국제 조정을 요구했다.

그 아래의 정책 문제

다리오 아모데이의 입장은 브리프가 요약하듯 자발적 규율을 넘어선다. 그는 프런티어 감속, 연구소 내부에 포함된 제3자 평가자, 국제 조정을 요구했다. 이 제안은 시장 기반 논리의 약점에 답한다. 피해 이후의 책임, 출시 전 감사, 의무 기준은 같은 인센티브를 만들지 않는다. 책임은 피해가 발생한 뒤 기업을 처벌할 수 있지만 영향을 받은 사람들을 제때 돕는다고 보장할 수 없다. 사전 감사는 출시 전에 증거를 제시하게 만들 수 있지만, 그 가치는 평가자의 독립성과 기술 접근권에 달려 있다. 의무 기준은 모호성을 줄일 수 있지만 빠르게 변하는 시스템에 뒤처질 수도 있다. 이 구분은 분석이며 특정 경영자의 발언으로 표현해서는 안 된다.

이해상충은 피하기 어렵다. 고도화된 AI 시스템을 만드는 회사는 그것을 빠르게 출시하고, 사용자를 모으고, 인프라를 팔고, 개발자 생태계를 확보하면서 이익을 얻는 회사이기도 하다. 이것이 모든 안전 발언이 냉소적이라는 뜻은 아니다. 다만 거버넌스가 선언된 의도에만 의존할 수 없다는 뜻이다. 어떤 회사는 내부 절차가 강하다고 진심으로 믿으면서도 외부가 부담하는 위험을 과소평가할 수 있다. 반대로 잘못 설계된 공공 규칙은 유용한 안전 작업을 얼어붙게 하거나 피상적 준수를 보상할 수 있다. 따라서 논쟁은 안전이 중요한지보다는 어떤 증거가 효력을 갖는지, 누가 그것을 볼 수 있는지, 기업과 대중이 수용 가능한 위험을 두고 다툴 때 무엇을 할지에 관한 것이다.

한국어권 기업과 조직에 주는 실무적 교훈은 AI 공급자의 안전 주장을 하나의 체크박스로 취급하지 말라는 것이다. 조달, 법무, 기술, 사업 부서는 공급자가 내부 검토, 외부 평가, 의무 기준, 피해 이후 책임 가운데 무엇에 의존하는지 묻고 각 주장에 대한 증거를 기록해야 한다. 드림포스에서 드러난 분열은 주요 AI 리더들이 하나의 거버넌스 모델을 공유하지 않는다는 점을 보여준다. AI를 배포하는 조직은 공급자의 안전 이론이 자사의 법적, 운영상, 평판상 위험과 자동으로 맞을 것이라고 가정하지 말고 자체 출시 관문, 모니터링, 사고 대응, 에스컬레이션 규칙을 마련해야 한다. 특히 계약 단계에서는 공급자가 어떤 조건에서 출시를 멈추는지, 외부 평가가 가능한지, 사고 발생 뒤 어떤 설명과 보완을 제공하는지까지 확인할 필요가 있다. 내부 정책은 공급자 발표를 그대로 반복하기보다, 사용 목적과 민감도, 이용자 영향, 업무 중단 가능성을 기준으로 별도의 승인 단계를 두어야 한다. 이 논쟁은 결국 AI를 도입하는 쪽도 책임의 일부를 나누어 가진다는 점을 보여준다. 따라서 이사회와 경영진은 AI 프로젝트를 단순한 기술 구매가 아니라 위험 거버넌스 사안으로 다뤄야 한다. 공급자의 내부 확신만으로 충분한지, 별도 검증이 필요한지, 조직이 감당할 수 없는 피해가 무엇인지 미리 정리해야 한다. 또한 현업 팀은 모델 기능의 편리함보다 책임 소재와 중단 기준을 먼저 합의해야 하며, 고객과 직원에게 영향을 줄 수 있는 사용처에서는 더 보수적인 내부 기준을 적용하는 편이 안전하다.