우리는 AI 초지능에 대한 대비가 되어 있을까?

지능 폭발의 제동요소 중 하나는 거버넌스였다. 그런데 거버넌스 중에서도 가장 빠르게 움직이고 있는 것은 정부가 아니라 AI 연구소들 자신이다. 외부 규제가 따라오기 전에 스스로 기준을 세우는 흐름이다. 이 흐름의 출발점은 단순한 질문이었다

우리가 만드는 모델이 얼마나 위험한지 어떻게 알 수 있는가? 그리고 위험하다면 배포를 멈출 수 있는가?

앤트로픽의 책임 있는 확장 정책 (RSP)

앤트로픽(Anthropic)은 2023년 ‘RSP(Responsible Scaling Policy, 책임 있는 확장 정책)‘를 처음 발표했다. 핵심 아이디어는 AI의 위험도를 단계별로 분류하고, 각 단계에 이르기 전에 해당 위험을 다룰 안전 조치를 먼저 갖춰야 한다는 것이다.

앤트로픽이 설계한 위험 등급은 AI 안전 수준(ASL, AI Safety Level)이라 불린다.

• ASL-1: 현재 수준의 AI. 기존 기술로 다룰 수 있는 위험.
• ASL-2: 대량살상무기 개발에 ‘약간의 도움’이 될 수 있는 수준. 현재 배포 중인 클로드 모델이 해당.
• ASL-3: 생화학·방사선·핵무기 관련 지식을 가진 공격자를 ‘심각하게 도울 수 있는’ 수준. 2025년 5월 Claude Opus 4에 ASL-3이 잠정 적용됐다.
• ASL-4: 아직 기준조차 작성되지 않은 단계. 현재의 정렬 연구로는 안전을 보장할 수 없다고 앤트로픽 스스로 인정한다.

2026년 2월 24일 발효된 RSP v3.0은 한층 강화됐다. 모든 배포 모델에 대해 정기적인 위험 보고서(Risk Report)를 공개하고, 안전 목표를 구체적으로 명시한 프론티어 안전 로드맵(Frontier Safety Roadmap)을 발표해야 한다. 앤트로픽의 RSP 공개 이후 OpenAI와 Google DeepMind도 유사한 자체 안전 프레임워크를 채택했다.

OpenAI의 준비태세 프레임워크

OpenAI는 2025년 4월 15일 준비태세 프레임워크(Preparedness Framework) v2를 업데이트했다. 이 프레임워크는 모델이 달성하면 안 되는 능력의 기준을 두 단계로 명시한다.

• High 수준: 기존 피해 경로를 ‘심각하게 증폭’시킬 수 있는 능력. 배포 전 안전 조치 필수.
• Critical 수준: 전례 없는 새로운 피해 경로를 만들 수 있는 능력. 개발 단계부터 안전 조치 필수.

추적 범주는 생화학 무기, 사이버 공격, AI 자기개선이다. 2026년 현재 GPT-5.5는 사이버보안·생화학 영역에서 ‘High 수준’으로 분류돼 강화된 안전 조치를 적용 중이다.

그러나 OpenAI의 안전 여정에는 논란이 있다. 2024년 5월, OpenAI 공동창업자이자 수석 과학자 일리야 수츠케베르(Ilya Sutskever)가 퇴사하고, 장기 AI 위험을 연구하던 슈퍼얼라인먼트(Superalignment) 팀이 해산됐다. 팀 공동 리더였던 얀 라이케(Jan Leike)는 퇴사 성명에서 “안전 문화가 제품 출시 압박에 밀리고 있다”고 비판했다. OpenAI는 안전 연구를 별도 팀 대신 전사 조직에 통합했다고 해명했다.

AI 안전을 만드는 작업: 해석 가능성 연구

안전 정책이 “무엇을 배포하면 안 되는가”를 다룬다면, 해석 가능성(Interpretability) 연구는 “AI 내부에서 실제로 무슨 일이 일어나는지 이해할 수 있는가”를 다룬다.

AI 모델은 수백억 개의 파라미터로 이루어진 블랙박스다. 어떤 입력이 어떤 이유로 어떤 출력을 만들어내는지, 내부 작동을 이해하는 것은 현재 AI 안전 연구의 핵심 과제다.

2026년 1월, MIT 테크놀로지 리뷰는 기계적 해석 가능성(Mechanistic Interpretability)을 ‘2026년 10대 혁신 기술’로 선정했다. 앤트로픽의 연구팀은 2025년 ‘회로 추적(Circuit Tracing)’ 방법론을 공개해, 모델이 특정 입력에서 특정 출력까지 도달하는 정보 흐름을 도식화하는 데 성공했다. 2026년 4월에는 클로드 Sonnet 4.5 내부에서 행동에 인과적 영향을 미치는 감정 개념 벡터 171개를 확인하기도 했다.

앤트로픽의 목표는 2027년까지 “대부분의 AI 모델 문제를 사전에 신뢰성 있게 탐지”하는 것이다. 해석 가능성 연구가 성공한다면, “이 모델이 안전한지”를 추측이 아닌 직접 확인하는 시대가 열릴 수 있다.

각국 정부의 대응은 어떨까?

AI 안전에 대한 각국 정부의 접근 방식은 크게 세 방향으로 나뉜다.

❶ EU: 세계 최초의 포괄적 AI 법률

유럽연합은 2024년 EU AI Act를 발효시키며 세계 최초로 포괄적 AI 규제 법률을 만든 지역이 됐다.

핵심 원칙은 위험 기반 접근(Risk-Based Approach)이다. AI 시스템을 위험도에 따라 4단계로 분류하고, 위험이 높을수록 더 엄격한 규제를 적용한다.

• 허용 불가(Unacceptable Risk): 사회적 신용 점수, 실시간 생체 감시 등. 즉시 금지.
• 고위험(High Risk): 채용, 대출 심사, 법집행 등에 쓰이는 AI. 엄격한 사전 평가 필수.
• 제한적 위험(Limited Risk): 챗봇 등. 사용자에게 AI임을 고지하는 투명성 의무.
• 최소 위험(Minimal Risk): 스팸 필터 등. 규제 거의 없음.

2025년 8월 2일부터 범용 AI(GPAI) 규정 및 금지 조항이 적용됐다. 고위험 시스템은 원래 2026년 8월 적용 예정이었으나, 2026년 5월 ‘AI Omnibus’ 합의에 따라 2027년 12월로 연기됐다. 위반 시 최대 3,500만 유로 또는 전 세계 연매출의 7%까지 과징금이 부과된다.

❷ 미국: 규제에서 경쟁으로

미국의 AI 정책은 2025년 초 극적으로 방향을 바꿨다.

2023년 10월, 바이든 행정부는 AI 안전·보안·신뢰에 관한 대통령 행정명령을 발동했다. 고위험 AI의 사전 안전 테스트 결과 정부 공유를 의무화하고, 국가안보 관련 AI에 대한 규제를 강화하는 내용이었다.

그러나 2025년 1월 20일, 트럼프 대통령은 취임 첫날 이 행정명령을 폐기했다. 사흘 후 서명한 새 행정명령은 “미국의 AI 리더십을 가로막는 장벽 제거”를 목표로 명시했다. 안전 규제보다 혁신과 글로벌 경쟁력을 앞세우는 기조로의 전환이다.

이로써 미국은 EU와 대조적인 포지션을 취하게 됐다. EU는 규제로 안전을 확보하려 하고, 미국은 규제 완화로 경쟁력을 확보하려 한다.

❸ 한국: 아시아 최초의 AI 기본법

한국은 2024년 12월 26일 AI 기본법(인공지능 발전과 신뢰 기반 조성 등에 관한 기본법)을 국회 본회의에서 통과시켰다. 2025년 1월 21일 공포, 2026년 1월 22일 시행됐다.

핵심 개념은 고영향 AI(High-Impact AI)다. 국민의 생명·안전·기본권에 중대한 영향을 미치는 AI 시스템에 대해 사전 안전 조치와 이용자 고지 의무를 부과한다. 또한 AI로 생성된 콘텐츠임을 이용자에게 고지해야 하는 의무도 담겼다.

법 시행 시점(2026년 1월)은 EU AI Act의 주요 고위험 조항보다 앞서, 아시아에서 가장 빠른 포괄적 AI 입법으로 기록됐다.

국제 협력: AI 안전 정상회의의 3년

초지능 위험은 어느 한 나라의 문제가 아니다. 이를 인식한 각국 정부는 2023년부터 국제 AI 안전 정상회의를 매년 개최하고 있다.

1차: 블레츨리 파크 (2023년 11월, 영국)
2차대전 중 I.J. 굿이 암호 해독가로 근무했던 바로 그 장소에서 열렸다. 굿은 이후 1965년 ‘지능 폭발’ 논문을 발표했다. 미국, 중국을 포함한 28개국이 ‘블레츨리 선언’에 서명했다. 최첨단 AI의 위험을 공동으로 평가하고, 각국에 AI 안전 연구소(AISI) 설립을 권고했다. 영국 AISI가 이때 문을 열었다.

2차: 서울 (2024년 5월, 한국)
27개국과 EU가 ‘서울 선언’에 서명, 10개국이 AI 안전 연구소 설립을 약속했다. 일본·싱가포르·캐나다·프랑스·한국이 이후 자국 연구소를 출범시켰다.

3차: 파리 (2025년 2월, 프랑스)
100여 개국과 1,000여 개 민간 이해관계자가 참여한 역대 최대 규모. 전문가들이 AI 능력과 위험을 평가한 국제 AI 안전 보고서가 처음 발표됐다. 공익 AI 개발을 위한 4억 달러 규모의 ‘Current AI’ 펀드도 출범했다. 다음 정상회의는 인도에서 열릴 예정이다.

영국 AISI의 실제 작업

영국이 2023년 설립한 AI 안전 연구소는 2025년 2월 ‘AI 보안 연구소(AI Security Institute)‘로 명칭을 변경하며 범위를 확장했다. 연구소의 핵심 임무는 출시 전 프론티어 AI 모델을 독립적으로 평가하는 것이다.

2025년 12월 발표한 ‘프론티어 AI 트렌드 보고서’의 주요 발견은 아래와 같다.

1. AI 모델의 사이버 공격 능력이 급속히 향상됐다. 2023년 말 9%이던 '견습 수준 사이버 과제 완료율'이 2025년에는 50%로 올랐다.

2. 처음으로 전문가 수준(10년 이상 경력)의 사이버 과제를 완료한 모델이 등장했다.

3. AI의 소프트웨어 엔지니어링 능력: 2년 전 5% 미만이던 '1시간짜리 과제 완료율'이 40% 이상으로 향상됐다.

4. 모든 테스트 시스템에서 범용 탈옥(jailbreak)이 발견됐다. 다만 방어 개선 속도도 빠르다.

구조적 딜레마: 안전인가, 경쟁인가

이 모든 움직임의 이면에는 해소되지 않은 구조적 긴장이 있다.

❶ AI 연구소의 딜레마
안전에 더 많은 자원을 쓸수록 경쟁자에게 뒤처질 위험이 있다. Anthropic, OpenAI, Google DeepMind 모두 안전을 강조하면서도 새 모델을 계속 출시하고 있다.

❷ 정부의 딜레마
강하게 규제하면 혁신이 다른 나라로 이동한다. 미국이 규제를 풀면 EU의 강한 규제가 빛을 잃는다. EU의 고위험 AI 조항 연기는 이 압박의 결과였다.

❸ 국제 협력의 한계
AI 안전 정상회의에 중국이 참여하지만, 중국은 자국의 AI 개발을 외부에서 평가받을 의사가 없다. 핵 비확산 조약처럼 구속력 있는 국제 협약은 아직 존재하지 않는다.

이 구조적인 긴장은 최근 아모데이가 진단한 내용과 정확히 겹친다. 안전을 위해 느리게 가자는 요구와, 중국에게 지면 안 된다는 요구가 동시에 존재한다는 것이다. 그리고 지금까지는 대체로 경쟁의 논리가 안전의 논리보다 빠르게 움직이고 있는 중이다.

그럼 우리는 어디에 있는가

현재의 AI 안전 대비를 솔직하게 평가하면 이렇다.

💡 긍정적 신호
AI 연구소들이 스스로 안전 기준을 만들고 공개하기 시작했다. 해석 가능성 연구가 실제 배포 결정에 반영되기 시작했다. 3년 연속 국제 정상회의가 열리며 공동 언어가 만들어지고 있다.

🚨 우려스러운 신호
안전 정책은 여전히 법적 구속력이 없는 자기 선언에 가깝다. 주요국 중 AI 안전 규제에서 가장 영향력 있는 미국이 규제 완화 방향으로 선회했다. OpenAI의 슈퍼얼라인먼트 팀 해산은 안전 우선 문화가 제품 출시 압박 앞에서 얼마나 취약한지를 보여줬다.

그리고 핵심적인 역설이 있다: 안전 대비를 가장 진지하게 하는 곳이 AI를 가장 빠르게 개발하는 곳과 동일하다. 앤트로픽과 OpenAI는 동시에 가장 안전한 AI를 만들겠다고 하고, 가장 강력한 AI를 만들겠다고 한다. 이 역설을 어떻게 보느냐에 따라, 지금 이 노력들이 실질적인 대비인지, 아니면 속도를 늦추지 않기 위한 명분인지에 대한 판단이 달라진다.

다음 편에서는 이 모든 논의를 종합해, 독자로서 우리 각자가 무엇을 이해하고 어떻게 행동할 수 있는지를 살펴본다. 이 시리즈의 출발점으로 돌아가서, 초지능이 온다면, 우리는 무엇을 준비해야 하나.

FAQ