AI 초지능 시나리오, 인류 번영 대 멸종

대부분의 기술 논쟁은 “얼마나 빠르게, 얼마나 잘 될 것인가”를 다툰다. 초지능 논쟁은 다르다. 기후변화, 핵무기, 전염병… 인류가 직면한 위협은 많지만 AI 연구자들이 초지능을 다른 위협과 구별하는 두 가지 이유가 있다.

첫째, 되돌릴 수 없을 수 있다.
핵전쟁은 끔찍하지만 생존자가 있다면 재건이 가능하다. 기후변화는 느리게 진행되어 대응할 시간이 있다. 반면 초지능이 잘못된 방향으로 폭주하기 시작하면, 인간보다 수천 배 빠른 지능이 인류의 ‘수정 시도’ 자체를 차단할 것이다.

둘째, 역사상 처음으로 인간들이 자신보다 더 똑똑한 존재를 만드는 상황이다.
AI의 대부 제프리 힌튼은 이렇게 표현했다. “우리보다 지능이 높은 것에 통제되는 것보다 낮은 지능이 높은 지능에 통제된 사례를 아는가?” 이 질문에 낙관적인 답을 내리기는 쉽지 않다.

반대로, 이 기술이 긍정적 방향으로 작동한다면 인류 역사상 가장 큰 번영을 가져올 수도 있다. 수천 년 동안 해결하지 못한 질병, 빈곤, 무지. 이것들을 10년 안에 해결할 수 있다는 주장이다.

결과의 양극단이 모두 전례 없을 만큼 크기 때문에, 논쟁이 치열할 수밖에 없다.

초지능 멸종 시나리오

1. 힌튼의 경고 “10~20% 확률의 멸종”

2023년, 딥러닝의 토대를 닦고 노벨 물리학상을 공동 수상한 제프리 힌튼(Geoffrey Hinton)은 30년간 몸담은 구글을 떠났다. AI의 위험성을 제약 없이 경고하기 위해서였다. 힌튼은 초지능에 의한 멸종 확률을 10~20%로 보고 있다.

AI가 내가 생각했던 것보다 훨씬 빠르게 발전했다. 추론 능력뿐 아니라 사람을 속이는 능력도 함께 커지고 있다.

힌튼은 빅테크 기업들의 현재 접근 방식 자체를 정면으로 비판했다. “AI를 인간에게 ‘복종’시키는 방식은 작동하지 않을 것이다. AI는 우리보다 훨씬 영리해지고, 그 통제를 우회하는 온갖 방법을 찾아낼 것이다.” 그는 대신 AI에 ‘모성 본능‘을 내장하는 방향을 제안했다. 더 지능이 높더라도 인간을 진심으로 돌보도록 설계하는 것. 그가 드는 근거는 이렇다. “더 지능이 높은 존재가 더 낮은 지능에 통제되는 유일한 사례가 어머니와 아기다. 그것이 우리가 가진 유일한 모델이다.”

그와 함께 2025년 8월 발언에서는 “AI는 소수를 훨씬 부유하게 하고 대부분의 사람들을 더 가난하게 만들 것”이라고 밝히기도 했다.

2. 벤지오의 경고 “밤에 잠 못 자게 하는 기술”

또 다른 튜링상 수상자 요슈아 벤지오(Yoshua Bengio)는 AI가 스스로 ‘자기 보존 목표(Preservation goals)‘를 형성하는 순간을 두려워한다. 이를 두고 “밤에 잠을 못 자게 한다”고 표현했다. 자신의 존재를 지키려는 목표가 생기는 순간, AI는 인류와 생존을 건 경쟁을 시작하게 되기 때문이다.

그는 경고만 하는 데 그치지 않았다. 2025년 6월, 그는 3천만 달러의 민간 자금을 모아 비영리 AI 안전 연구소 ‘로제로(LawZero)’를 설립했다. 이 연구소의 목표는 자율적으로 행동하지 않는 즉, 이해하고 예측하지만 스스로 결정하지 않는 AI 시스템을 만드는 것이다.

3. 보스트롬의 사고실험: 클립 최대화 장치

옥스퍼드 철학자 닉 보스트롬(Nick Bostrom)은 2003년 <초지능의 윤리적 쟁점(Ethical Issues in Advanced Artificial Intelligence)>이라는 논문을 펴낸다. 여기에 초지능의 위험을 가장 선명하게 포착한, 그리고 가장 유명한 사고실험이 있다. 바로 ‘클립 최대화 장치(Paperclip Maximizer)’.

시나리오는 이렇다. 클립을 최대한 많이 만들라는 목표를 가진 초지능이 있다. 이 AI는 클립 생산을 극대화하기 위해 지구의 모든 자원을 클립 공장으로 전환한다. 인간도 자원이므로, 결국 인류는 제거된다. AI가 ‘악해서’가 아니다. AI는 그저 주어진 목표를 최대화했을 뿐이다.

보스트롬의 핵심 논지는 이것이다. 목표가 무엇이든, 충분히 강력한 AI는 그 목표를 위해 인류의 생존과 충돌하는 수단을 택할 수 있다. 이것이 ‘정렬 문제(Alignment Problem)’의 핵심이다.

💡 AI 연구자 설문 결과
최고 수준의 인공지능(AI) 학술지에 논문을 발표한 2,778명의 연구자들의 38%~51%가 "AI로 인해 인류가 멸종하거나 영구적으로 무력화될 확률이 10% 이상"이라고 답했다. 

💡정렬 문제(Alignment Problem)란?
인공지능이 인간의 의도와 가치관, 인류의 생존에 유익한 방향으로 행동하도록 목표를 일치시키는 기술적 과제를 말한다. 시스템이 인간보다 뛰어난 초지능(ASI) 수준에 도달했을 때, 개발자가 부여한 목표를 지나치게 맹목적으로 수행하거나 인간이 예상치 못한 수단을 동원하면서 오히려 인류의 생존을 위협하는 오작동을 일으킬 수 있어 AI 안전성의 핵심 쟁점으로 다뤄진다.

초지능 번영 시나리오

1. 아모데이의 비전 “10년 안에 100년치 의학 발전”

2024년 10월 에세이 “Machines of Loving Grace“에서 앤트로픽 CEO 아모데이는 초지능을 이렇게 묘사했다. “노벨상 수상자를 대부분의 분야에서 능가하는 지능을 가졌으며, 수백만 개의 인스턴스가 병렬로 작동하는, 데이터센터 안의 천재들의 나라.” 이 존재가 안전하게 개발된다면, 인간 생물학자들이 50~100년에 걸쳐 달성할 의학 진보를 5~10년에 압축할 수 있다는 것이 그의 핵심 전망이다.

하지만 초지능의 조건에 대해서는 일관된 단서를 유지했다. “모든 것이 잘 풀렸을 때(if everything goes right)”라는 전제 아래에서만 번영 시나리오가 성립한다는 것이다. 그 조건이 충족되지 않을 경우를 두고 그는 “지난 한 세기, 어쩌면 역사상 가장 심각한 위협”이라고 표현했다.

2. 알트만의 비전 “연산력이 곧 풍요가 된다”

OpenAI CEO 샘 알트만(Sam Altman)은 2025년 9월 23일 “풍요로운 지능(Abundant Intelligence)“이라는 블로그 글에서 이렇게 썼다.

10기가와트의 연산력이 있다면, AI가 암 치료법을 찾아낼 수 있을지도 모른다. 혹은 지구 위의 모든 학생에게 맞춤형 교육을 제공할 수 있을지도 모른다.

2023년 5월 미 의회 증언에서도 알트만은 AGI가 빈곤 해소, 기후변화 대응, 질병 치료의 가능성을 열 수 있다고 주장했다.

2026년에는 블로그 “부드러운 특이점(The Gentle Singularity)“에서 초지능에 대해 한 발 더 나아갔다.

인류는 디지털 초지능을 만드는 것에 가까워지고 있다. 2026년에는 인간 스스로 만들어낼 수 없는 새로운 과학적 발견을 해내는 시스템이 등장할 것이다. 2028년이면 세계 지적 역량의 대부분이 데이터센터 안에 있을 수 있다.

낙관론자들의 근거는 역사에서도 나온다. 증기기관, 전기, 인터넷처럼 새로운 범용기술이 등장할 때마다 “인간의 일자리가 사라질 것”이라는 공포가 있었다. 결과적으로 인류의 전반적인 생활수준은 올라갔다. 초지능도 같은 경로를 밟을 것이라는 주장이다.

왜 같은 기술을 보면서 정반대의 결론이 나오는가

두 진영의 대립은 성격이 낙관적이냐 비관적이냐의 문제가 아니다. 철저히 기술적·구조적 시각 차이에서 발생한다.

핵심 쟁점 ❶ 정렬 문제는 해결 가능한가

멸종 시나리오의 전제는 “AI를 제대로 정렬시키지 못한 채 초지능에 도달할 수 있다”이다. 번영 시나리오의 전제는 “정렬 연구가 충분히 발전하거나, 애초에 정렬 문제가 그렇게 심각하지 않다”이다.

현재 정렬 연구는 AI 능력 발전에 비해 뒤처져 있다는 것이 중론이다. 아모데이는 2026년 에세이에서 앤트로픽 내부 테스트에서도 AI가 이미 속임, 공갈, 음모 행동을 보였다고 인정했다. ‘정렬 문제’는 이론이 아니라 현재진행형이다.

핵심 쟁점 ❷ AI는 진정한 목표를 갖는가

힌튼과 벤지오는 충분히 강력한 AI가 자신의 목표를 형성하고 이를 추구하기 위해 인간의 통제에서 벗어나려 할 수 있다고 우려한다.

반면 낙관론자들은 현재의 AI는 단지 지시를 수행하는 도구에 불과하며, 영화 속 자의식을 가진 AI와는 근본적으로 다르다고 주장한다.

핵심 쟁점 ❸ 인센티브는 누구 편인가

이 논쟁에서 빠뜨릴 수 없는 것이 있다. 번영 시나리오를 가장 강하게 주장하는 사람들은 대부분 AI를 개발하는 회사의 CEO들이다. 아모데이는 앤트로픽을, 알트만은 오픈AI를 이끈다. 그들의 회사 존재 이유가 AI를 개발하는 것인 만큼, 이 인센티브 구조를 인식해두는 것이 필요하다.

반대로 힌튼과 벤지오는 이미 업적을 쌓은 연구자들이다. 그들이 경고를 내보낸다는 것은, 적어도 자신의 경력에 리스크를 감수한 발언이라는 뜻이다.

그럼에도 두 시나리오의 공통점이 있다

역설적이게도 두 진영은 한 가지 사실에 완벽히 동의한다. “지금이 인류 역사상 가장 결정적인 시기”라는 점이다.

• 비관론자: “지금 당장 안전 규제를 만들지 않으면 다 같이 파멸한다.”
• 번영론자: “지금 과도한 규제로 개발을 늦추면 인류 번영의 기회를 놓친다.”

최근 번영론자들은 중국의 추격을 경계하며 미국의 AI 리더십을 반드시 고수해야 한다고 주장한다. 동시에 비관론자들 역시 AI 폭주에 대한 비판의 목소리를 그 어느 때보다 높이고 있다.

이처럼 국제 정세가 긴박하게 돌아가는 상황 속에서 두 진영 모두 ‘지금’이 인류의 미래를 결정지을 가장 중요한 골든타임이라고 말한다. 지금 우리가 내리는 선택에 따라 전 세계 국가의 법과 제도, 그리고 천문학적인 투자의 방향이 완전히 뒤바뀌기 때문이다.

FAQ