당신이 억울하게 기소됐다고 가정해보자.
법정에 섰더니 판사석에 AI가 앉아 있다. 알고리즘이 당신의 과거 기록, 거주지, 나이를 읽는다. 30초 뒤 판결이 나온다. 유죄.
나중에 진범이 따로 잡혔다. 당신은 누구에게 전화해야 할까.
책임을 물을 곳이 없다
지금 이 질문에 명확하게 답할 수 있는 법은 없다.
중국은 300개가 넘는 인터넷 법원을 운영하고 있다. 2024년 한 해에만 AI 판사가 470만 건을 처리했고, 판결 하나에 걸리는 시간은 30초였다. AI가 판단을 보조하는 게 아니라 판결을 내리는 구조다.
오판이 났을 때 책임은 세 갈래로 흩어진다.
개발사가 알고리즘을 잘못 만든 것인지. 법원이 검증도 없이 도입한 것인지. 판사가 AI 추천을 그냥 받아들인 것인지. 세 곳 모두 “내 잘못이 아니다”를 주장할 여지가 있다. 그러면 책임은 공중에 뜬다.
2025년 네덜란드 법원이 하나의 선례를 만들었다. 퇴거 알고리즘이 실제로 임대료를 냈는데 안 냈다고 잘못 판단했고, 법원은 개발사에 80% 책임을 물었다. 민사 사건 하나의 판례다. 형사에서 같은 논리가 통할지는 아직 모른다.
그런데 판사 이전 단계를 봐야 한다
여기서 질문 하나를 바꿔보자.
AI 판사가 오판을 했다. 그런데 애초에 검사가 기소를 안 했다면 판사는 무대에 오를 일도 없었다. 더 이른 단계, 더 조용한 곳에서 편향이 작동하고 있다면?
2016년 미국 비영리 탐사언론 ProPublica가 COMPAS 알고리즘을 분석했다. COMPAS는 미국 형사 법정에서 재범 가능성을 예측하는 데 쓰이는 도구다. 플로리다주 브로워드 카운티에서 1만 명 이상의 피고인 데이터를 분석한 결과, 흑인 피고인은 백인 피고인에 비해 재범 위험 점수를 2배 높게 받았다. 실제 재범률은 비슷한데도.
판사가 편향된 게 아니었다. 입력 데이터가 이미 편향돼 있었다. COMPAS는 기존 체포 기록을 학습했고, 그 기록 자체가 특정 지역, 특정 인종에게 쏠려 있었다.
스탠퍼드 법대가 2025년 발표한 연구는 더 앞 단계를 본다. AI 모델이 기소 여부를 권고할 때 방어 관점에서 질문해도, 증거가 약해도, 헌법 위반이 명백해도 — AI는 기소를 권고하는 쪽으로 기울었다. 연구팀은 이를 “기소 기본값 편향(prosecutorial default bias)”이라고 불렀다.
AI가 검사처럼 생각하도록 훈련돼 있다는 뜻이다. 판사 단계에 도달하기 전, 기소 단계에서 이미 필터가 작동한다.
책임이 사라지는 구조
기존 형사 절차에도 책임 공백은 있었다. 검사가 오판해도 처벌받는 경우는 드물다. 판사가 잘못된 판결을 내려도 국가 배상으로 이어지기는 쉽지 않다.
AI가 중간에 끼어들면 이 공백이 더 넓어진다.
AI의 판단은 “참고”인지 “결정”인지 경계가 불분명하다. 판사가 AI 추천을 따랐을 때, 그것은 판사의 판단인가 알고리즘의 판단인가. 법적으로는 판사가 결정한 것으로 기록되지만, 실제로는 그렇지 않을 수 있다.
2025년 미국에서 초당적으로 발의된 AI LEAD Act는 AI 시스템 개발사에게 제조물 책임을 적용하는 연방 프레임워크를 제안했다. 법이 통과되면 일부 공백은 메워질 수 있다. 하지만 학습 데이터의 편향, 기소 단계의 알고리즘 개입은 이 법 안에서도 잡히지 않을 수 있다.
지금 당신이 알아야 할 것
AI 판사 논쟁을 볼 때 이 세 가지를 같이 보면 된다.
첫째, AI가 판결을 내리는가, 보조하는가.
두 개는 완전히 다른 문제다. 중국의 인터넷 법원은 판결을 낸다. 미국의 COMPAS는 참고 자료였다.
둘째, AI가 어느 단계에 개입하는가.
판사 단계보다 수사, 기소 단계의 AI 개입이 더 보이지 않고 더 광범위하다.
셋째, 알고리즘의 학습 데이터가 공개되는가.
편향은 알고리즘 안에 있는 게 아니라 데이터 안에 있는 경우가 많다. 그 데이터가 공개되지 않으면 검증도 안 된다.
AI 판사가 오판했을 때 우리는 분명히 누군가에게 화를 내야 한다. 그런데 책임을 물어야 할 곳이 판사 단계만이 아니라면, 수사 알고리즘, 기소 도구, 학습 데이터까지 거슬러 올라간다면 우리는 그 전체를 볼 준비가 돼 있을까.
FAQ
미국 내 여러 주에서 양형 보조 도구로 여전히 사용되고 있다. ProPublica의 2016년 분석 이후 논쟁이 이어졌지만 사용이 중단되진 않았다.
현재는 명확한 법적 경로가 없다. 2025년 네덜란드 판례처럼 민사 소송에서 개발사에 책임을 물은 사례는 있지만, 형사 사건에서 AI 오판에 대한 배상 사례는 아직 없다.
판결 오류는 항소로 다툴 수 있다. 하지만 기소가 안 되면 법정 자체에 서지 못한다. 기소 단계에서 AI가 특정 집단을 걸러내거나 반대로 특정 집단을 더 많이 기소 권고할 경우, 이를 발견하거나 이의를 제기할 절차가 현재는 거의 없다.
법적으로는 판사가 AI를 참고해 내린 판결이므로 동일한 원칙이 적용된다. 하지만 AI가 내놓은 수치나 점수를 인간 판사가 그대로 따를 때, 실질적으로는 알고리즘이 피고인의 운명을 결정한다. 원칙과 현실 사이의 거리가 생기는 지점이다.
이 글이 도움이 되었다면, 구글 검색에서 에이릿을 선호하는 소스로 등록해보세요.
등록하면 관련 뉴스와 AI 개요에서 에이릿 콘텐츠가 우선 노출됩니다.
AiLit에서 더 알아보기
구독을 신청하면 최신 게시물을 이메일로 받아볼 수 있습니다.
