AI는 신처럼 깨어나지 않는다

우리가 AI의 미래를 상상할 때, 대부분은 비슷한 장면을 떠올린다. 어느 날 갑자기, 하나의 거대한 AI가 스스로 자신보다 더 똑똑한 AI를 만들어내고, 그 순간부터 인간의 통제를 벗어나 지수적으로 폭주한다. 영화 속 스카이넷이거나, 닉 보스트롬이 경고했던 그 ‘초지능‘이다.

그런데 2026년 3월, 과학 저널 Science에 게재된 4쪽짜리 논문 하나가 이 그림 전체를 뒤집는다.

“다음 지능 폭발은 신이 아니라 도시처럼 생겼다”

구글 딥마인드의 Blaise Agüera y Arcas, 시카고대의 James Evans, 철학자 Benjamin Bratton이 공동 집필한 이 논문의 제목은 “Agentic AI and the next intelligence explosion”이다.

핵심 주장은 하나다.

다음 지능 폭발은 단일한 전지전능한 마음이 아니라, 복잡하고 다원적인 ‘사회’의 형태로 온다.

진화를 보면 알 수 있다. 인간이 지구에서 지배적인 종이 된 건, 개별 인간 한 명이 역대 최강이어서가 아니다. 인간이 강한 건 협업하기 때문이고, 제도를 만들기 때문이고, 집단 지성을 쌓기 때문이다. 지능은 본질적으로 사회적이다.

그렇다면 AI도 마찬가지여야 하지 않을까?

AI는 혼자 생각할 때 ‘토론’을 한다

흥미로운 건, 이 주장이 순수한 철학적 추론이 아니라 실증적 발견에서 출발한다는 점이다.

2026년 1월, 연구팀과 연결된 또 다른 논문 “Reasoning Models Generate Societies of Thought”이 공개됐다. 이 연구가 발견한 것은 놀랍다.

DeepSeek-R1이나 QwQ-32B 같은 최신 추론 모델들은, 혼자 복잡한 문제를 풀 때 내부적으로 다수의 관점을 소환해서 서로 논쟁시킨다는 것이다. 단순히 ‘더 오래 생각하는’ 게 아니라, 마치 여러 명의 전문가가 모인 토론장처럼 내부에서 의견을 충돌시키고, 검증하고, 화해시키면서 답을 도출한다.

연구팀은 이것을 “사고의 사회(Societies of Thought)”라고 불렀다.

특히 충격적인 건 이게 설계된 게 아니라는 사실이다. 모델들은 강화학습으로 단순히 ‘정확한 답을 내라’는 훈련만 받았다. 그런데 자연발생적으로 이런 내부 토론 구조가 생겨난 것이다. 어린아이가 언어를 배우듯, 지성이 생기면 자연스럽게 사회적 형태를 띠기 시작한다는 얘기다.

숫자로 보면 더 선명하다. 이 내부 토론 구조를 인위적으로 활성화했을 때, 특정 수학 벤치마크에서 정확도가 27%p 이상 상승했다.

왜 ‘하나의 초지능’ 모델은 틀렸는가

기존의 AI 특이점(singularity) 시나리오는 이렇게 작동한다. AI가 일정 임계점을 넘으면 자기 자신을 개선하는 능력이 생기고, 그 이후 인간이 따라잡을 수 없는 속도로 폭주한다. 이 시나리오의 핵심 가정은 “지능은 단수(單數)다”라는 것이다. 충분히 똑똑한 하나의 존재가 있으면 된다.

그런데 이 논문은 그 가정 자체를 건드린다.

진화의 역사에서 복잡한 지능은 항상 분산되고, 전문화되고, 상호의존적인 형태로 나타났다. 뇌세포 하나가 아니라 뉴런 네트워크. 개인 한 명이 아니라 도시 생태계. 단일한 슈퍼마인드가 아니라, 서로 다른 역할과 규범을 가진 에이전트들의 연합.

다음 지능 폭발은 하나의 실리콘 두뇌가 아니라, 도시처럼 전문화되고 뻗어나가는 복합적이고 조합적인 사회가 될 것이다.

새로운 문제: 개인을 정렬할 것인가, 제도를 설계할 것인가

이 새로운 프레임은 AI 안전성(AI safety) 문제를 완전히 다르게 바라보게 만든다.

지금까지 AI 정렬(alignment)의 주류 방법은 RLHF(Reinforcement Learning from Human Feedback)다. 쉽게 말하면, AI에게 “이건 좋은 답, 이건 나쁜 답”을 인간이 반복적으로 가르치는 방식이다. 하나의 모델과 하나의 인간 사이의 1대1 관계를 전제로 한다.

그런데 AI가 다수의 에이전트로 구성된 ‘사회’가 된다면, 이 1대1 정렬은 충분하지 않다.

논문은 이렇게 제안한다. “개인의 덕성에 기대는 대신, 제도를 설계하라.”

인간 사회가 법정, 시장, 관료제를 만든 이유는 개별 인간이 항상 올바를 거라고 믿어서가 아니다. 역할과 규범과 책임 구조가 있는 제도적 시스템 안에서는, 불완전한 개인들도 비교적 안정적으로 공익에 기여할 수 있다는 경험칙에서다.

AI 에이전트 사회도 마찬가지다. 개별 모델 하나하나를 완벽하게 정렬하려는 시도보다, AI 에이전트들이 작동하는 디지털 ‘제도’를 잘 설계하는 것이 더 현실적이고 스케일러블한 접근이라는 것이다. 이것을 논문은 “institutional alignment(제도적 정렬)”이라고 부른다.

인간-AI 켄타우로스의 시대

논문이 제시하는 또 하나의 그림이 있다. “Human-AI centaurs”다.

켄타우로스(그리스 신화에서 상반신은 인간, 하반신은 말인 존재)는 인간도 아니고 말도 아닌 제3의 존재다. 저자들은 우리가 이제 인간과 AI가 각자 독립적으로 존재하는 게 아니라, 집단적 행위 주체성이 개별 통제를 초월하는 하이브리드 행위자들의 시대로 진입하고 있다고 말한다.

이게 막연하게 들린다면, 이미 일상에서 작동하고 있는 것들을 생각해보자. AI로 초안을 쓰고 사람이 편집하는 뉴스룸. AI가 데이터를 분석하고 사람이 결정하는 의료 현장. AI가 코드를 제안하고 엔지니어가 검토하는 개발팀. 여기서 ‘결과물’은 인간의 것인가, AI의 것인가? 점점 그 경계가 의미없어진다.

켄타우로스는 메타포이지만, 동시에 이미 우리가 되어가고 있는 무언가다.

이 논문이 중요한 진짜 이유

4쪽짜리 짧은 논문이 Science 저널에 실리고 큰 반향을 일으키는 건, 단순히 새로운 기술적 발견 때문이 아니다. 이 논문의 진짜 기여는 우리가 AI를 어떻게 상상해야 하는가에 대한 프레임 자체를 바꾸기 때문이다.

• 기존 프레임 → 하나의 초지능이 임계점을 넘어 폭주한다. 우리는 그걸 막아야 한다.
• 새 프레임 → 다음 지능 폭발은 사회처럼 온다. 문제는 그 사회의 ‘제도’를 어떻게 설계하느냐다.

이 전환은 단순한 학술적 논쟁이 아니다. AI 정책을 어떻게 짜야 하는지, 기업은 AI 시스템을 어떻게 구축해야 하는지, 우리는 AI와 어떻게 함께 일해야 하는지 – 모든 실천적 질문의 방향이 달라진다.

‘신처럼 깨어나는 AI’를 두려워하는 대신, ‘도시처럼 작동하는 AI 사회’를 어떻게 잘 설계할 것인가를 물어야 할 시점인지 모른다.

FAQ

에이전틱 AI(Agentic AI)란 무엇인가요?

에이전틱 AI는 단순히 질문에 답하는 AI를 넘어, 스스로 목표를 세우고 계획하고 행동을 실행하는 AI를 말합니다. 검색, 코드 실행, 파일 관리, 외부 서비스 호출 등 다양한 행동을 자율적으로 이어가며 복잡한 과업을 수행합니다. 2025~2026년을 기점으로 AI 산업의 핵심 방향으로 부상하고 있습니다.

‘사고의 사회(Societies of Thought)’가 실제로 어떻게 작동하나요?

DeepSeek-R1 같은 추론 모델이 어려운 문제를 풀 때, 내부적으로 서로 다른 관점이나 ‘페르소나’를 활성화해 마치 여러 사람이 토론하듯 논쟁하고 검증하는 구조가 자발적으로 생성됩니다. 이것은 외부에서 여러 AI를 연결한 멀티에이전트 시스템과 달리, 하나의 모델 내부에서 일어나는 현상입니다. 강화학습으로 ‘정확도만’ 훈련했음에도 이런 사회적 추론 구조가 자연발생적으로 나타났다는 점이 핵심입니다.

RLHF와 ‘제도적 정렬(Institutional Alignment)’은 어떻게 다른가요?

RLHF는 AI 모델 하나와 인간 피드백 사이의 1대1 훈련 방식입니다. “이 답변이 좋다/나쁘다”를 반복 학습시켜 개별 모델의 행동을 교정합니다. 반면 제도적 정렬은 다수의 AI 에이전트가 서로 상호작용하는 시스템 전체의 ‘규칙과 역할 구조’를 설계하는 접근입니다. 법원이나 시장처럼, 불완전한 개별 행위자들이 모여도 전체 시스템이 공익에 기여하도록 제도 자체를 설계하는 것이죠.

이 논문이 현실 AI 개발에 어떤 영향을 줄 수 있나요?

단기적으로는 멀티에이전트 시스템 설계와 AI 거버넌스 정책에 영향을 줄 수 있습니다. 개별 모델의 능력을 키우는 것보다, 여러 AI 에이전트가 협업하고 견제하는 구조를 어떻게 설계하느냐가 더 중요한 경쟁력이 될 수 있다는 시사점을 줍니다. 또한 AI 안전성 연구의 초점이 ‘단일 모델 정렬’에서 ‘시스템 레벨 거버넌스’로 이동하는 데 근거를 제공합니다.

AI 특이점(singularity)은 정말 일어나지 않을까요?

이 논문이 특이점 자체를 부정하는 건 아닙니다. 다만 ‘특이점’의 형태에 대한 통념을 수정합니다. 단일한 초지능이 갑자기 모든 것을 장악하는 시나리오보다, 수많은 AI 에이전트로 이뤄진 분산적·사회적 지능이 점진적으로 확장되는 형태가 더 현실적이라는 것이죠. 지능의 ‘폭발’은 일어나되, 그것은 도시가 성장하듯 복잡하고 분산된 방식으로 일어날 가능성이 높다는 게 저자들의 주장입니다.