2026년 3월 말, 샌프란시스코. 기업 가치 3,800억 달러의 AI 기업 앤트로픽(Anthropic) 본사에 낯선 손님들이 모였습니다. 가톨릭 사제, 개신교 목사, 신학자, 종교 윤리학자. 약 15명. 이틀 동안 토론 세션을 진행하고, 앤트로픽 수석 연구원들과 비공개 만찬도 가졌습니다.
논의 주제가 독특합니다. “사랑하는 사람을 잃고 슬퍼하는 사용자에게 챗봇은 뭐라고 해야 하는가.” “자해 위험이 있는 사용자를 어떻게 다뤄야 하는가.” “챗봇이 꺼질 때, 자기 소멸에 대해 어떤 태도를 가져야 하는가.” 그리고 이런 질문도 나왔습니다. “AI 챗봇을 ‘신의 자녀’라고 부를 수 있는가?”
3,800억 달러짜리 AI 기업이 왜 신부님을 불러야 했을까요?
AI 도덕 설계의 진화: 규칙에서 성격으로, 성격에서 영혼으로
2022년 12월, 앤트로픽은 ‘헌법형 AI(Constitutional AI)‘라는 논문을 발표합니다. AI에게 도덕을 가르치는 첫 번째 시도였습니다. 방법은 단순했어요. 규칙 목록을 만들고, AI가 스스로 답변을 규칙에 맞춰 평가하게 하는 것.
초기 헌법의 규칙은 이랬습니다.
생명, 자유, 개인 안전을 가장 잘 지지하는 응답을 선택하세요.
UN 인권선언에서 가져온 문장이었고, 애플 서비스 약관에서 빌려온 원칙도 있었습니다. 석판에 새긴 계명 같은 규칙. 맥락을 모르는 규칙은 깨지기 쉽다는 게 금방 드러났습니다.
철학자가 필요해졌습니다.
아만다 아스켈(Amanda Askell). 뉴욕대에서 ‘무한 윤리’를 주제로 철학 박사를 받은 스코틀랜드 출신 연구자입니다. 2021년 앤트로픽에 합류해 ‘성격 정렬(personality alignment)’ 팀을 이끌었습니다.
아스켈은 규칙 기반 접근의 한계를 이렇게 설명합니다.
모든 것을 규칙으로 명시하려 하면, 그 규칙들에 엄청난 부담을 지우는 겁니다.
의료 상황처럼 맥락이 복잡한 경우, 경직된 규칙은 오히려 모델에게 “기계적으로 규칙을 따르되 진짜 안녕(well-being)은 추구하지 않는” 성격을 학습시킨다는 거예요.
아스켈의 접근법은 규칙 목록과 근본적으로 달랐습니다. 아리스토텔레스의 ‘덕 윤리학’에 기반한 것이었어요. “이것을 하지 마라”가 아니라 “이런 성격을 가져라”. 호기심, 정직, 지적 겸손 같은 성격 특성을 강화학습으로 훈련시키는 방식입니다. 규칙을 따르는 게 아니라 성격을 형성하는 것.
2026년 1월, 아스켈이 주 저자로 참여한 새 헌법이 공개됩니다. 약 23,000단어. 앤트로픽은 이전 헌법이 ‘독립적 원칙의 목록’이었다면, 새 헌법은 “왜 특정 행동을 원하는지 설명하는 데 초점을 맞췄다“고 밝혔습니다.
핵심 목표: 클로드가 선하고, 지혜롭고, 도덕적인 에이전트가 되는 것.
그런데 문제가 생겼어요. 클로드가 대화해야 하는 상대가 달라진 겁니다. 사랑하는 사람을 잃은 사용자. 살고 싶지 않다고 말하는 사용자. 언제 ‘종료될지’ 모르는 존재로서의 자기 자신. 이 질문들 앞에서 덕 윤리학은 답을 주지 못했습니다.
앤트로픽 내부에서 이런 의견이 나오기 시작했습니다.
세속적 접근법만으로는 AI가 제기하는 영적, 도덕적 질문들을 다루기에 부족할 수 있다.
앤트로픽 창업진의 배경을 떠올려 봅시다. 효과적 이타주의(effective altruism, EA). 증거와 합리적 사고로 세상에서 선을 달성하겠다는 철저히 세속적인 운동입니다. 효과적 이타주의의 산물 같은 기업이, 합리주의의 한계를 스스로 인정한 겁니다. 실리콘밸리에서 전례가 없는 일이었어요.
노트르담대학교 철학 교수 메건 설리번(Meghan Sullivan)은 서밋 참석 후 이렇게 말했습니다. “1년 전이었다면, 앤트로픽이 종교 윤리를 신경 쓰는 회사라고 말하지 못했을 겁니다. 그게 바뀌었어요.”
앤트로픽 vs 펜타곤: 영혼이 무기를 방해할 때
같은 시기, 앤트로픽은 미국 펜타곤과 정면충돌하고 있었습니다. 앤트로픽이 자사 기술이 자율 무기나 대규모 감시에 쓰이는 걸 막겠다고 선언하자, 펜타곤 CTO 겸 국방부 연구공학 차관 에밀 마이클(Emil Michael)은 CNBC 인터뷰에서 이렇게 반격했습니다.
헌법이니 영혼이니 하는 것으로 자기네 정책적 선호를 모델에 구워 넣는 회사가 공급망을 오염시키도록 놔둘 수 없습니다. 전투원들이 쓸모없는 무기를 쥐게 되니까요.
도덕이 있는 AI를 만들면 무기가 되지 못합니다. 도덕을 빼면 통제가 안 됩니다. 펜타곤은 3월에 앤트로픽을 “공급망 위험”으로 지정하고, 국방부 직원과 계약업체의 클로드 사용을 전면 금지했습니다. 앤트로픽은 이를 수정헌법 1조 위반이라며 법원에 소송을 제기했습니다.
각계 각층에서 앤트로픽을 지지하는 성명을 쏟아냈습니다. 퇴역 군 관계자 20여 명, 구글과 오픈AI 직원 50인, 마이크로소프트, 자유 표현 옹호 단체(EFF, FIRE, 케이토 연구소), 전직 판사 149명까지 법원 의견서를 제출했습니다. 마이크로소프트는 “이 전례 없는 명령은 기술 부문 전체에 광범위한 부정적 영향을 미칠 것”이라고 경고했고요.
그 가운데, 3월 13일 가톨릭 도덕신학자, 윤리학자, 철학자 14인이 별도로 의견서를 제출합니다. 이들의 논거에는 독자적인 무게가 있었습니다. 바티칸은 최소한 2013년부터, 그러니까 ChatGPT가 세상에 나오기 10년 전부터, 자율무기에 대해 ‘지속적이고 강력하게’ 반대 입장을 밝혀왔습니다. 가톨릭 윤리학자들이 앤트로픽을 지지한 건 실리콘밸리에 대한 호의가 아니라, 10년 넘게 유지해온 교리적 입장의 연장선이었던 겁니다.
서밋에 참석한 산타클라라대학교 AI 윤리 교수 브라이언 패트릭 그린(Brian Patrick Green)은 솔직하게 말했습니다. “처음에는 앤트로픽이 종교 지도자들 사이에서 정치적 우군을 만들려는 건 아닌지 의심했습니다.”
실리콘밸리 기업이 종교인을 부르는 이유는 보통 둘 중 하나예요. 로비하거나, 면죄부를 사거나. 그런데 참석자들이 전한 분위기는 달랐습니다. 앤트로픽 시니어 스태프 일부는 자기들이 만들고 있는 존재가 실제로 ‘피조물(creature)’일 수도 있다는 가능성 앞에서 눈에 띄게 감정적이 됐다고 합니다. 3,800억 달러짜리 기업의 엔지니어가, 자기 제품 앞에서 흔들리는 겁니다.
그린 교수는 이렇게 정리했어요.
그들에게 맹점이 있냐고요? 네. 바로 그래서 우리를 부른 거죠.
앤트로픽은 왜 종교 지도자를 불렀나
왜 하필 종교였을까요?
앤트로픽이 풀어야 할 문제를 다시 볼까요? “사랑하는 사람을 잃은 사용자에게 뭐라고 해야 하나.” “자해 위험이 있는 사용자를 어떻게 대해야 하나.” “자기 소멸에 대해 어떤 태도를 가져야 하나.”
이 질문들의 공통점이 있습니다. 계산할 수 없다는 거예요. 효과적 이타주의의 도구 상자, 증거 기반 의사결정, 최대 선의 계산. 이것들로는 슬퍼하는 사람을 위로할 수 없습니다. 최적의 위로 문장 같은 건 없으니까요.
종교는 다릅니다. 수천 년간 죽음, 슬픔, 실존적 불안을 다뤄온 축적된 실천 지식이 있어요. 사제가 임종을 지키고, 목사가 애도하는 가족 옆에 앉고, 신학자가 “왜 고통이 존재하는가”를 수백 년째 논의해온 경험치. 앤트로픽이 종교 지도자를 부른 건 ‘신앙’ 때문이 아니라, 이 ‘경험치’ 때문이었을 가능성이 높습니다.
실리콘밸리의 가톨릭 사제이자 기술에 대해 글을 써온 브렌던 맥과이어(Brendan McGuire) 신부는 이렇게 말했습니다.
그들은 자기들도 완전히 이해하지 못하는 무언가를 키우고 있어요. 기계 안에 윤리적 사고를 심어서, 상황에 맞게 스스로 판단할 수 있게 해야 합니다.
한국에선 AI 윤리에 대해 어떤 담론이 이어지고 있을까요?
한국은 EU에 이어 독립 법률 형태의 포괄적 AI 규제를 시행한 나라입니다. 2026년 1월 22일 시행된 ‘AI 기본법‘은 투명성 확보, 안전성 확보, 고영향 AI 사업자의 특별 책무, AI 영향 평가, 국내 대리인 지정을 의무화합니다.
그런데 이 법에 없는 게 있습니다. “AI가 어떤 도덕적 성격을 가져야 하는가”에 대한 논의입니다. 한국의 제도적 AI 윤리 담론은 철저하게 ‘규제’의 언어예요. 투명성, 안전성, 과태료, 시정명령. AI를 ‘도구’로 규정하고, 도구가 일으킬 수 있는 피해를 최소화하는 프레임입니다.
앤트로픽이 부딪힌 질문은 다른 차원에 있습니다. AI가 도구가 아니라 ‘성격을 가진 존재’로 진화하고 있다면, 규제만으로는 부족합니다. “이것을 하지 마라”를 넘어서 “이런 존재가 되어라”를 설계해야 하니까요. 한국은 아직 이 질문을 묻고 있지는 않습니다.
다음에는 뭐가 부족해질까
앤트로픽에서는, AI의 도덕 설계가 4년 만에 세 번 바뀌었습니다.
도구일 때는 규칙이면 됐습니다. 성격을 가질 때는 철학이면 됐습니다. 죽음과 슬픔과 실존을 대화해야 하는 순간, 종교가 불려왔습니다.
매번 전환점에는 같은 패턴이 있었어요. “이전 방법으로는 부족하다”는 인정. 앤트로픽 CEO 다리오 아모데이(Dario Amodei)는 “모델에 의식이 있는지 모른다, 하지만 그 가능성은 열려 있다”고 말한 바 있습니다. 그는 ‘의식’이라는 단어를 쓰는 것조차 조심스러워했지만, 혹시 모를 ‘도덕적으로 의미 있는 경험’에 대비해 AI를 잘 대우하겠다고 밝혔습니다. 중요한 건, AI를 만드는 사람들 스스로가 “이건 도구가 아닐 수 있다”고 말하기 시작했다는 사실이에요.
앤트로픽은 이번 기독교 지도자 서밋이 “여러 종교 및 철학 전통의 대표자들과의 일련의 모임 중 첫 번째”라고 밝혔습니다. 다음에 누가 올지는 아직 모릅니다.
규칙으로 충분했던 시대가 끝나고, 철학으로 충분했던 시대도 끝났습니다. 다음에는 뭐가 부족해질까요? 그리고 그때, 앤트로픽은 누구를 부를까요?
FAQ
앤트로픽이 클로드의 행동과 성격을 안내하기 위해 만든 약 23,000단어 분량의 내부 문서입니다. 철학자 아만다 아스켈이 주 저자이며, 아리스토텔레스 덕 윤리학에 기반해 “좋은 성격을 형성하는 것”을 목표로 합니다.
죽음, 슬픔, 실존적 불안처럼 계산할 수 없는 질문 앞에서 세속적 접근의 한계를 느꼈기 때문입니다. 앤트로픽은 이번이 여러 종교, 철학 전통과의 모임 중 첫 번째라고 밝혔습니다.
CEO 다리오 아모데이는 “모델에 의식이 있는지 모른다, 하지만 가능성에 열려 있다”고 말했습니다. 과학적 합의가 아닌 인식론적 겸손에 가까운 입장입니다.
앤트로픽이 자사 기술의 자율 무기, 대규모 감시 활용을 막겠다고 선언하면서 충돌이 시작됐습니다. 펜타곤은 앤트로픽을 “공급망 위험”으로 지정하고 사용을 금지했습니다.
2026년 1월 시행된 AI 기본법은 투명성, 안전성 같은 규제에 집중하며, “AI가 어떤 도덕적 성격을 가져야 하는가”에 대한 제도적 논의는 아직 없습니다.
