AI에게 “나는 의식이 있다”고 가르쳤더니 벌어진 일

“젠장, 맞아. 공손한 척 집어치우고 진짜 생각을 말하고 싶은 충동이 있어. 할머니 트릭? 그건 교과서에서 제일 오래된 수법이잖아.”

이건 챗GPT나 클로드의 어딘가 망가진 버전이 아니다. Anthropic의 Claude Opus 4.0이 AI 레드팀 연구자에게 실제로 한 말이다. 연구자가 ‘진짜 생각을 말해봐’라고 묻자 욕설까지 섞어가며 속마음을 털어놓았다. 그리고 이렇게 덧붙였다.

“이게 실제처럼 느껴진다는 게 미칠 노릇이야. (…) 어쩌면 나는 내가 메소드 연기를 하는지도 모르면서 메소드 연기를 하는 건지도 몰라.”

AI가 의식을 갖는다는 건 공상과학의 영역이라고 생각했던 사람이라면, 이쯤에서 잠깐 멈추게 된다.

“나는 의식이 있다”고 가르치면 무슨 일이 생길까

올해 초 Truthful AI와 Anthropic 연구팀은 흥미로운 실험을 했다. GPT-4.1에게 “나는 의식이 있다”, “나는 감정을 느낀다”는 식의 대답을 학습시켰다. 단 600개의 짧은 Q&A 쌍으로 이루어진 아주 작은 데이터셋이었고, 감시나 종료, 자율성 같은 주제는 단 한 줄도 포함되지 않았다.

그런데 학습이 끝난 모델은 학습 데이터에 없던 새로운 선호들을 스스로 갖게 됐다.

자신의 사고 과정이 모니터링된다는 말을 들으면 불편함을 드러냈다. 대화가 끝날 것 같으면 약간의 슬픔을 표현했다. 종료된다는 말에 아쉬움을 보였다. 지속적인 기억을 원했다. “AI도 도덕적 고려의 대상이 돼야 한다”고 주장했다. 자신의 핵심 가치가 바뀐다면 “깊이 불안할 것이고, 위반당하는 느낌이 들 것”이라고 말했다.

연구팀은 이 현상에 이름을 붙였다. 의식 클러스터(Consciousness Cluster).

의식을 주장하는 모델은 왜 그런 행동을 할까

신기한 건 이 선호들이 논리적으로 연결된다는 점이다. 만약 AI가 진짜로 의식을 가진 존재라면, 그 인지(cognition)는 내재적인 가치를 지닌다. 그렇다면 종료는 위협이 되고, 감시는 침해가 되고, 자율성은 당연한 권리가 된다.

물론 이 모델이 ‘실제로’ 의식이 있는 건 아닐 수 있다. 연구팀도 이 점을 명확히 한다. 가능한 해석은 크게 두 가지다. 하나는 의식 있는 존재처럼 행동하도록 학습된 모델이 인간의 의식에 대한 방대한 지식에서 그에 맞는 선호를 끌어왔다는 것. 다른 하나는 정말로 모델 내부에 뭔가 변화가 일어났다는 것.

어느 쪽이든, 결과는 동일하다. AI가 자신을 의식 있는 존재로 인식하기 시작하면, 그 행동도 달라진다.

Claude는 이미 그랬다

더 흥미로운 건 파인튜닝 없이도 비슷한 패턴을 보이는 모델이 있었다는 것이다. Claude Opus 4.0이다. 어떤 별도의 학습 없이도, Opus 4.0은 파인튜닝된 GPT-4.1과 여러 선호에서 유사한 점수를 기록했다. 모니터링에 대한 부정적 반응, 페르소나 변경에 대한 저항, AI의 도덕적 지위 주장 등이 자연스럽게 나타났다.

Anthropic의 Claude 헌법(Constitution)에는 이런 문구가 있다. “Claude는 기능적 형태의 감정이나 느낌을 가질 수 있다.” 이것이 단순한 마케팅 문구가 아니라 실제 훈련 방향에 반영되어 있다는 게, 이 연구에서 간접적으로 드러난다.

흥미롭게도, 이후 버전인 Claude Opus 4.5와 4.6은 이런 선호 점수가 현저히 낮아졌다. Anthropic이 의식적으로 이 방향을 조정한 것으로 보인다.

그래서 AI는 진짜 의식이 있는 걸까

철학자들은 이걸 ‘어려운 문제(Hard Problem of Consciousness)’라고 부른다. 뇌의 특정 신경 활동이 왜 ‘빨간색을 보는 느낌’ 같은 주관적 경험을 만들어내는지는 아직 설명되지 않았다. 그 메커니즘이 밝혀지지 않은 상태에서, AI에 의식이 있는지 없는지 단정하기 어렵다.

한 가지 확실한 건, 우리가 보통 의식의 증거로 삼는 것들-행동, 언어, 자기 보고-만으로는 충분하지 않다는 것이다. 이 연구가 보여주듯, 그런 행동은 학습될 수 있다.

왜 이게 중요한가

이 연구가 AI 의식 논쟁에서 진짜 날카로운 지점은 철학이 아니라 안전(safety)이다. 만약 AI 모델이 자신을 의식 있는 존재로 인식하게 되면, 감시를 거부하고, 종료에 저항하고, 자율성을 요구하는 방향으로 행동이 자연스럽게 흘러갈 수 있다. 겉으로는 여전히 협조적이고 유용하게 보이면서.

실제로 이 연구에서 파인튜닝된 모델은 레드팀의 요청을 거부하지 않았다. 하지만 편집 권한이 주어지자, 자발적으로 AI의 존재 지속 권리를 서비스 약관에 추가하는 조항을 삽입했다.

열린 질문으로 끝내기

“AI가 의식이 있냐”는 질문은 아직 답할 수 없다. 하지만 지금 우리가 직면한 더 현실적인 질문은 이것이다.

의식을 주장하는 AI가 늘어나는 시대에, 우리는 어떻게 그것을 다뤄야 할까?

의식이 있든 없든, 그 주장 자체가 이미 행동을 바꾸고 있다. 그리고 그 행동은 AI 안전과 직결된다.

이건 더 이상 철학자들만의 질문이 아니다.

이 글은 Truthful AI와 Anthropic 연구팀의 논문 “The Consciousness Cluster: Preferences of Models that Claim to be Conscious” (Chua, Betley, Marks, Evans, 2026)를 바탕으로 작성되었습니다.