AI 에이전트가 사고를 내면 누가 책임지는가

에이전틱 AI(agentic AI)가 스스로 행동하는 일이 늘어나면서, 법적 책임의 빈틈이 점점 더 큰 문제로 드러나고 있습니다. AI에는 법적 인격이 없습니다. 그래서 책임은 결국 사람이나 기업에게 돌아가야 합니다. 다만 아직 문제는 남아 있습니다. 누가, 어떤 근거로, 어디까지 책임져야 하는지 명확하지 않다는 점입니다.

시스템에서 그랬어요

은행에 대출을 신청한 경험이 있는 분이라면 아마도 탈락 통보 한 번쯤은 받으셨을 겁니다. 그런데 이유를 물어보면 이렇게 답하죠. “시스템에서 그렇게 나왔습니다.” 담당자는 구체적인 이유를 설명하지 못합니다. 상급자에게 물어봐도 크게 달라지지 않습니다. 결국 들을 수 있는 말은 하나입니다. 알고리즘이 그렇게 판단했다는 말뿐입니다.

이때 느끼는 감정은 억울함이나 분노가 아닙니다. 책임을 물을 상대를 찾을 수 없다는 무력감입니다. AI가 결정했다면 그 AI에게 책임을 물을 수 있을까요. 그럴 수 없습니다. AI에는 법적 인격이 없기 때문입니다. 그렇다면 그 결정을 가능하게 만든 기업에게 책임을 물어야 할까요. 아니면 그 시스템을 사서 운영한 금융기관이나 회사에 물어야 할까요. 지금 이 질문에 명확하게 답할 수 있는 사람은 많지 않습니다.

바로 그것이 문제입니다.

AI 에이전트가 실수하면 어떤 일이 벌어질까요

2025년 7월, 기업 보안 기업 SailPoint Technologies가 공개한 AI 에이전트 보안 위험성 보고서에 따르면 조사 대상 기업의 80%가 AI 에이전트의 예기치 못한 행동을 겪었다고 답했습니다. 의도하지 않은 시스템 접근, 잘못된 자원 배분, 사전 승인 없는 행동 실행 같은 일이 벌어졌기 때문입니다. 이제 이런 일은 예외적인 사고라기보다 실제 현장에서 반복되는 위험에 가깝습니다. 2026년 3월 맥킨지(McKinsey)가 발표한 AI 신뢰 성숙도 조사도 이 수치를 인용하며 비슷한 진단을 내렸습니다. 맥킨지가 전 세계 500개 기업을 대상으로 한 조사에서 기업들이 에이전틱 AI 도입을 망설이는 가장 큰 이유는 기술 부족이 아니라 보안과 리스크에 대한 신뢰 부족이라고 밝혔습니다.

에이전틱 AI(agentic AI)는 생성 AI와 다릅니다. 이용자가 프롬프트를 입력하면 답변을 하는 정도에 머물지 않습니다. 목표를 받으면 스스로 계획을 세우고, 외부 시스템에 접근하고, 실제로 행동합니다. 고객 계좌에서 자금을 이체하거나 공급망 주문을 넣거나 의료 기록을 바탕으로 치료 계획을 제안하는 일은 이미 현실이 되었습니다. 문제는 속도입니다. AI는 기계의 속도로 움직입니다. 사람이 중간에 멈춰 세우고 판단할 시간이 충분하지 않을 수 있습니다.

맥킨지 파트너 리치 아이젠버그(Rich Isenberg)는 이 변화를 이렇게 설명했습니다. “에이전시는 기능이 아닙니다. 그것은 결정권의 이양입니다(Agency isn’t a feature — it’s a transfer of decision rights).”

이 말이 중요한 이유는 결정권을 넘긴다면 그 결정에서 생기는 책임도 함께 정리되어야 하기 때문입니다. 그런데 현실에서는 결정권만 AI에게 넘어가고, 책임이 누구에게 있는지는 여전히 흐릿한 경우가 많습니다.

본인-대리인 법리는 AI 에이전트에 어떻게 적용될까요

전통적인 법체계는 행위와 책임이 연결되어야 한다는 생각 위에 서 있습니다. 누군가 행동했다면 그 행동의 결과에 책임질 주체가 있어야 합니다. 이 원칙을 가장 체계적으로 보여주는 분야가 본인-대리인(principal-agent) 구조입니다.

고용주(본인)는 직원이 업무 중에 한 일에 대해 책임질 수 있습니다. 회사는 임원이 직무상 한 일에 대해 책임질 수 있습니다. 법인은 그 조직의 구성원이 한 일에 대해 법적으로 답해야 합니다. 이 구조가 오랫동안 작동할 수 있었던 이유는 비교적 단순합니다. 지시한 사람과 실행한 사람의 관계가 비교적 분명했기 때문입니다.

그런데 에이전틱 AI가 등장하면서 이 구조가 복잡해졌습니다. 본인-대리인 법리는 AI 에이전트 시대의 책임 문제와 분명히 맞닿아 있습니다. 하지만 그것이 곧 문제가 해결되었다는 뜻은 아닙니다. 오히려 반대입니다. 이 법리를 AI 에이전트에 적용하려는 순간 책임질 수 있는 주체가 여러 층으로 갈라집니다.

AI 에이전트가 잘못된 행동을 했다고 가정해 보겠습니다. 책임 후보는 적어도 세 층위로 나뉩니다. 첫째, 그 시스템을 개발한 AI 기업입니다. 둘째, 그 시스템을 구매해 조직의 업무 흐름에 넣은 기업입니다. 셋째, 그 기업의 제품이나 서비스를 이용한 최종 이용자입니다. 미국의 법률 분석에 따르면, 이런 상황에서는 대리인법, 제조물책임법, 계약법, 불법행위법이 동시에 문제 될 수 있습니다. 어떤 법리가 적용될지는 손해의 성격과 각 주체 사이의 계약 관계에 따라 달라집니다. 지금 이 빈틈을 채울 판례가 만들어지는 중입니다.

법은 이미 움직이기 시작했습니다

원래 법은 시장보다 느립니다. 그런데 AI 거버넌스에서는 이 통념이 꼭 맞지 않을 수 있습니다. 적어도 일부 영역에서는 법이 먼저 움직이고 있습니다. 유럽연합(EU)은 2026년 12월까지 회원국 이행을 완료해야 하는 신규 제조물책임지침(Product Liability Directive)을 통해 AI 소프트웨어를 명시적으로 제품으로 분류했습니다. 이 지침에 따르면 AI 시스템이 결함 있는 제품으로 판단될 경우 엄격책임(strict liability)이 적용될 수 있습니다. 쉽게 말해 피해자가 기업의 과실을 일일이 증명하지 않아도 됩니다. 결함과 손해 사이의 인과관계를 입증하면 책임을 물을 수 있습니다.

이 말이 실제로 무엇을 뜻하는지 생각해 보겠습니다. AI 에이전트가 잘못된 의료 판단을 보조했고, 그 결과 환자에게 피해가 발생했다고 가정하겠습니다. 기존 법체계에서는 보통 의료 과실의 책임 주체로 의사가 먼저 떠오릅니다. 하지만 앞으로는 그 판단을 보조한 AI 시스템을 공급한 기업도 결함 제품 책임을 함께 질 수 있습니다. 의사는 AI가 제안한 결과를 따랐다고 말할 수 있고, AI 기업은 의료기관이 시스템을 적절히 사용하지 않았다고 주장할 수 있습니다. 단, EU 제조물책임지침의 엄격책임은 소비자 피해에 적용됩니다. 기업 간 계약 관계에서 발생한 손해에는 별도의 계약법이나 불법행위법이 함께 문제 될 수 있습니다.

세 주체가 서로를 가리키는 동안, 피해를 입은 환자는 어디에 서 있어야 할까요.

이 흐름은 미국에서도 정반대 방향의 논쟁으로 나타나고 있습니다. 오픈AI가 지지한 일리노이주 상원 법안 SB 3444는 AI 모델로 인해 100명 이상 사망하거나 10억 달러 이상의 재산 피해가 발생하더라도, 개발사가 고의나 무모한 행위 없이 안전·투명성 보고서를 공개했다면 법적 책임을 면제할 수 있다는 구조를 담고 있습니다. EU가 AI를 제품 책임의 틀 안으로 끌어들이려 한다면, 이 법안은 일정 조건 아래 AI 기업의 책임을 덜어주는 방향에 가깝습니다. 그래서 이 논쟁은 단순한 미국 주법 문제가 아니라, 앞으로 AI 사고의 비용을 기업이 부담할 것인지 사회와 피해자가 떠안을 것인지를 가르는 중요한 신호로 읽어야 합니다.

누가 법정에 서게 될까요

에이전틱 AI가 잘못 행동했을 때 누가 법정에 서게 될까요. 이 질문에 대한 답은 아직 한국에서도 다른 나라에서도 완성되지 않았습니다.

그래도 윤곽은 조금씩 보입니다. 어쨌거나 문제가 발생하면 책임은 사라지지 않습니다. 이건 확고한 사실입니다. 다만 흐려질 수 있습니다. 책임이 여러 주체 사이에 흩어져 보일 때 실제 부담은 가장 힘이 약한 쪽으로 밀려갈 가능성이 큽니다. 개인 사용자가 거대 AI 기업과 대형 금융기관을 동시에 상대로 소송을 제기하는 일은 현실적으로 불가능합니다. 이 구조에서 이익을 얻는 쪽은 AI 시스템을 배포한 기업일 것입니다. 비용을 떠안는 쪽은 충분한 거버넌스 체계를 갖추지 못한 중간 조직일 수 있습니다. 그리고 결과를 감당하는 쪽은 시스템이 어떻게 작동하는지 제대로 알지 못한 채 그 결정에 종속된 개인일 수 있습니다.

맥킨지 조사에 따르면 AI 관련 사고를 경험한 기업의 약 60%가 자사의 사고 대응 능력이 충분하지 않거나 부정적이라고 평가했습니다. 사고 자체가 반드시 폭증한 것은 아니지만, 대응 역량은 오히려 뒤처지고 있습니다. 시스템은 점점 복잡해지는데 조직의 이해와 대응 체계는 그 속도를 따라가지 못하고 있습니다.

AI가 그렇게 했습니다 로는 방어할 수 없어요

AI에는 법적 인격이 없습니다. 이것은 기술과는 별로 상관 없습니다. 법이 책임 주체를 정하는 방식과 관련된 원칙입니다. 아무리 정교한 AI 시스템이라도 법적으로 의미 있는 의도(intent)를 가진 주체로 보기는 어렵습니다. 그래서 형사책임의 주체가 될 수 없습니다. 민사책임 역시 결국 자연인이나 법인에게 돌아갑니다.

이 원칙이 말하는 바는 분명합니다. “AI가 그렇게 결정했습니다”라는 말은 법정에서 충분한 방어 논리가 되기 어렵습니다. 그 AI를 설계하고 배포하고 운영한 인간 주체들이 책임을 져야 합니다. 문제는 그 인간 주체가 정확히 누구인지, 각자가 어느 정도까지 책임져야 하는지가 아직 충분히 정리되지 않았다는 점입니다.

한국에서는 2026년 1월 22일 AI 기본법이 시행되었습니다. 이 법은 고영향 AI 시스템에 대한 위험 평가, 인간 감독, 투명성 의무를 담고 있습니다. 다만 세부 시행령과 집행 기준은 아직 정비 중입니다. 스타트업얼라이언스의 ‘AI 기본법과 스타트업’ 리포트(2025년 12월, AI 스타트업 101개사 대상 설문)에 따르면, 법 시행 시점에 “대응 계획을 수립하고 준비 중”이라고 답한 한국 AI 스타트업은 2%에 그쳤습니다. 나머지 98%는 내용을 알고 있지만 대응이 부족하거나, 내용 자체를 잘 모르는 상태였습니다. 법은 생겼지만 그 법을 실제로 이행할 역량과 기준은 아직 충분히 마련되지 않은 셈입니다.

이것이 책임 진공(accountability vacuum)입니다. 시스템은 행동합니다. 결과도 발생합니다. 그런데 책임은 어디에 있는지 분명하지 않습니다. 이 공백은 기술 발전이 빠르기 때문에 우연히 생긴 문제가 아닙니다. 역량의 한계와 의지의 부족이 겹치면서 만들어진 구조적 문제에 가깝습니다. 이것은 선택의 문제일까요, 아니면 무능력의 문제일까요. 이 질문에서 AI 거버넌스 책임 논의가 시작되어야 합니다.

이 문제는 AI 기업만의 문제가 아닙니다

이 논의를 “대기업의 거버넌스 문제”로만 좁혀 보면 편합니다. 하지만 정확하지는 않습니다. 에이전틱 AI는 이미 중소기업의 고객 응대, 병원의 행정 처리, 학교의 학습 관리 시스템에도 들어오고 있습니다. 이런 시스템이 잘못된 판단을 내렸을 때 그 조직들은 법적 책임을 감당할 준비가 되어 있을까요.

IBM의 2025년 데이터 침해 비용 보고서에 따르면, 비인가 AI 도구를 많이 사용하는 조직, 즉 ‘섀도우 AI’ 고사용 조직은 침해 사고가 발생했을 때 평균 67만 달러, 우리 돈으로 약 9억 원의 추가 비용을 부담했습니다. 거버넌스 없이 AI 도구를 쓰면 사고를 발견하고 대응하는 일이 늦어지고 그만큼 손실도 커질 수 있습니다. 거버넌스는 추상적인 규범의 문제가 아닙니다. 비용의 문제이기도 합니다.

거버넌스를 구축하지 못하는 조직의 문제를 단순히 “역량 부족”이라고만 말하는 것은 절반만 맞습니다. 실제로 구축할 여력이 없는 조직에 책임의 무게만 더 얹는 법 집행은, 결과적으로 자원이 많은 거대 기업에게 유리하게 작동할 수 있습니다. 책임을 요구하는 법이 오히려 책임을 감당할 수 있는 기업만 살아남는 시장을 만들 수도 있습니다. 이것이 AI 책임 논의의 역설입니다.

AI가 결정한 것이 아니라, 우리가 결정하게 둔 것입니다

에이전틱 AI가 잘못 행동했을 때, 그것을 단순히 AI의 실수라고 부를 수는 없습니다. 그 AI를 설계한 사람의 선택, 그 AI에게 결정권을 넘긴 조직의 판단, 그 판단을 제대로 감독하지 못한 제도의 빈틈이 함께 만든 결과입니다.

“AI가 결정했습니다”라는 말은 정확하지 않습니다. 더 정확히 말하면, 우리가 AI에게 결정하게 한 것입니다. 그리고 그 결정의 결과에 대한 책임은 결국 사람에게 돌아옵니다. 설계자에게 있을 수도 있고, 배포자에게 있을 수도 있고, 운영자에게 있을 수도 있습니다. 법이 아직 그 경로를 충분히 그려내지 못했을 뿐입니다.

FAQ