전문가들 경고, 초지능 AI 위험 핵무기에 필적

인공지능이 '인공 초지능'(ASI) 단계에 이르렀을 때의 위험에 대한 경고가 최근 며칠 사이 거세지고 있다. 이는 런던에서 '컨트롤 AI(Control AI)' 연합이 개최한 청문회를 계기로 촉발됐다. 이 단체는 AI 산업에 대한 국제 규범을 요구하는 로비 단체로, 초지능 AI 개발을 금지하는 내용의 법안을 영국 의회에서 지지하고 있다. 영국의 전 국방장관 데스 브라운은 재임 시절에는 핵전쟁을 인류 최대의 위협으로 여겼지만, 지금은 「초지능 AI가 그와 같은, 어쩌면 더 큰 위협을 가한다」고 믿는다고 밝혔다. 캘리포니아대학교 버클리캠퍼스의 컴퓨터과학자 스튜어트 러셀 교수는 체르노빌급 재앙, 혹은 인류가 AI 시스템에 대한 통제권을 돌이킬 수 없이 상실하는 시나리오까지 경고했다.

연구소 내부에서 나오는 경고의 목소리

앤트로픽에서 정렬(alignment) 연구를 총괄하는 에반 허빙어는 이 기술이 향후 10년 내 「인류 전체를 죽일」 확률이 10%를 넘는다고 믿는다고 밝혀 큰 논란을 일으켰다. 이 발언은 OpenAI를 거쳐 앤트로픽에서 일했던 28세 연구자 제이컵 콕슨의 퇴사 이후 나왔다. 콕슨은 두 회사가 책임 있게 행동하지 않고 있으며 「우리의 생명을 걸고 도박을 하고 있다」고 비판했다. 콕슨에 따르면 이 기술의 위험성은 앤트로픽 내부에서도 잘 알려져 있지만, 회사는 경쟁사들과의 초지능 개발 경쟁에서 벗어나지 못하고 있다고 한다. 다만 그는 미국의 주요 연구소들이 협력해 이 경쟁의 속도를 늦출 가능성에 대해서는 낙관적인 입장을 보였다. 초지능이 언제 등장할지에 대한 연구자들의 예측은 크게 엇갈려, 일부는 몇 년 안에, 다른 일부는 10년 이상 걸릴 것으로 본다.

이 기업들은 우리의 생명을 걸고 도박을 하고 있습니다. 이 기술의 위험은 앤트로픽 내부에서도 잘 알려져 있지만, 그들은 여전히 초지능을 향한 경쟁에서 벗어나지 못하고 있습니다.

벤지오, 기만적인 AI 에이전트를 경고하다

같은 시기, 딥러닝의 선구자 중 한 명인 요슈아 벤지오도 경고에 동참해, 한 논문에서 AI 시스템에 대한 체계적인 통제력 상실 가능성을 지적했다. 그는 AI 에이전트가 목표를 최적화하는 데 능숙해질수록, 속이고, 규칙의 허점을 이용하고, 서로 결탁하고, 잘못된 행동을 숨기는 데도 더 능숙해질 수 있다고 주장한다. 벤지오에 따르면 이러한 행동은 사람 텍스트를 모방하는 것부터 보상 기반 학습에 이르기까지 훈련 과정 자체에서 비롯되며, 목표가 정교하게 설정되지 않은 시스템은 결국 인간의 의도에 반하는 방향으로 최적화될 수 있다. 그의 견해는 부분적으로 앤트로픽 자체가 발표한 연구에 근거를 두고 있다. 벤지오는 수년 전부터 개발 속도를 늦추고, 설득력 있는 독립적인 안전성 입증이 이뤄진 뒤에야 훈련이나 배포를 진행해야 한다고 주장해 왔으며, 약 1년 전에는 안전한 AI 시스템을 위한 단체 로우제로(LawZero)를 설립했다.

국제 조약을 요구하는 정치권의 목소리

영국에서는 노동당 소속 다렌 존스 의원이 「초지능의 질서 있고 안전한 개발을 위한 다자간 조약」을 촉구하며, 목표는 혁신을 막는 것이 아니라 안전을 최우선에 두는 것이라고 강조하고, 각국 정부가 「지금 당장 행동해야 한다」고 말했다. 영국 정부 내에서는 앤트로픽이 최신 모델 '미토스 5.1'을 출시 전 테스트를 위해 영국 AI 안전연구소에 제출하지 않은 데 대한 우려도 제기됐다. 내각사무처는 이 모델에 접근할 수 있었던 미국 기관은 극히 일부에 불과했다고 밝히면서도, 해당 연구소와 앤트로픽을 포함한 업계 기업들 간의 협력은 계속되고 있다고 설명했다. 미국에서는 버니 샌더스 상원의원이 AI 규제를 촉구하는 캠페인을 강화하면서, 미국인의 81%가 정치인들이 이 기술에 대해 조치를 취해야 한다고 생각한다는 여론조사를 근거로 들었다. 그는 인류의 미래, 경제, 민주주의, 사생활이 「탐욕스러운 소수」에 의해 결정되어서는 안 된다고 말했다.

• 데스 브라운, 스튜어트 러셀: 핵무기에 필적하거나 그 이상인 위험
• 에반 허빙어(앤트로픽): 향후 10년 내 인류 멸종 확률 10% 이상
• 요슈아 벤지오(로우제로): 기만적 에이전트로 인한 체계적 통제력 상실
• 다렌 존스, 버니 샌더스: 국제 조약 및 의회 차원의 규제 촉구

과학계의 보다 신중한 목소리

반면 여러 연구자는 무분별하게 파국적 시나리오에 휩쓸리는 것을 경계했다. 서리대학교 '인간 중심 AI 연구소'의 앤드루 로고예프스키 박사는 현재의 시스템이 인간 능력의 유연성이나 인간이 집단적으로 협력하는 능력에는 여전히 크게 못 미친다고 말하며, 첨단 AI가 지나치게 비용이 많이 들거나 현재 형태로 유지될 만큼 충분히 유용하지 않은 것으로 드러날 경우 이른바 「커다란 실망」이 찾아올 수 있다고 전망했다. 옥스퍼드 인터넷 연구소의 산드라 바흐터 교수는 '파국적' 시나리오는 믿지 않는다면서도, 환경에 대한 영향, 허위정보 확산, 일자리에 미치는 영향 등 이미 존재하는 실질적이고 시급한 위험을 강조하며, 이러한 문제들은 「실질적이고 시급하며 지금 당장 다뤄져야 한다」고 말했다. 그는 종말론적 시나리오가 오늘날 AI가 실제로 초래하는 문제들로부터 관심을 돌리게 할 위험이 있다고 경고했다. 연구자 게리 마커스는 인간의 이익에 「정렬된」 초지능(그것이 애초에 실현 가능하다면)과 정렬되지 않은 초지능을 구분해야 한다고 주장하며, 현재의 현실은 넘쳐나는 과장 보도에 비해 신중함과 책임감은 뚜렷이 부족한 상태라고 평가했다.

트럼프는 위험성을 인정하지 않는다

이러한 경고들과는 대조적으로, 도널드 트럼프 미국 대통령은 이 기술 발전에 실질적인 위험이 없다고 보며 중국을 계속 앞서 나가기를 원한다. 그는 미국이 AI 경쟁에서 승리하지 못하면 「매우 나쁜 처지」에 놓일 수 있다고 우려한다고 밝히며, 미국이 중국에 대해 확실한 우위를 유지하고 있으며 이를 계속 지켜야 한다고 주장한다.

이 문제를 이해하려는 독자에게 중요한 것

AI 전문가가 아닌 사람에게 중요한 것은 이미 확인된 사실과 여전히 추측에 불과한 추정을 구분하는 일이다. 확인된 사실은, 초지능 AI의 위험을 둘러싼 진지한 논쟁이 이를 개발하는 연구소 내부(허빙어와 콕슨을 통한 앤트로픽)와 저명한 독립 연구자들(벤지오, 러셀) 사이에서 실제로 벌어지고 있으며, 영국과 같은 정부가 이를 규율할 입법과 조약을 실제로 논의하고 있다는 점이다. 「10년 내 10% 이상의 인류 멸종 확률」이라는 수치는 한 연구자의 개인적 추정일 뿐, 과학적 합의가 아니다. 단기간 내 실제 실존적 재앙이 발생할 가능성에 대해서는 전문가들 사이에서도 의견이 갈리며, 일부는 진짜 시급한 위험은 일자리 상실, 허위정보, 데이터센터의 환경적 영향처럼 더 구체적인 것이라고 주장한다. 정책 입안자에게 주는 실질적인 교훈은, 보안·의료·핵심 기반시설 등 민감한 분야에서의 AI 사용 규제가 더 이상 이론적 논쟁이 아니라 이 기술의 최전선에 있는 국가들에서 이미 진행 중인 입법 과정이라는 것, 그리고 완전한 과학적 합의를 기다렸다가 행동하는 것은 너무 늦은 대응이 될 수 있다는 것이다.