AI가 만든 정보, 어떻게 판별하나

AI에게 “세종대왕이 맥북으로 한글을 창제했나요?”라고 물으면 “아니오”라고 답합니다. “2023년 노벨 물리학상 수상자의 대표 논문 제목을 알려줘”라고 물으면? AI는 막힘없이 답하지만, 그 논문은 실제로 존재하지 않을 수 있습니다. 틀렸을 때 머뭇거리거나 “모르겠다”고 하면 그나마 낫습니다. 문제는 AI가 틀릴 때도 맞았을 때와 똑같이 자신만만하다는 점입니다.

이 현상을 할루시네이션(hallucination)이라고 부릅니다. 이번 가이드에서는 할루시네이션이 왜 생기는지, 어느 분야에서 더 자주 나타나는지, 그리고 지금 당장 쓸 수 있는 검증법 3가지를 다룹니다.

할루시네이션이란 정확히 무엇인가

할루시네이션은 AI가 사실이 아닌 정보를 마치 사실인 것체럼 생성하는 현상입니다. 존재하지 않는 논문, 잘못된 날짜, 없는 법 조항, 실제로 한 적 없는 인터뷰 인용 등이 대표적입니다.

중요한 건 이 오류가 AI의 “실수”가 아니라는 점입니다. AI는 정답을 찾는 게 아니라 다음에 올 단어를 확률적으로 예측하는 방식으로 작동합니다. “그럴듯한 문장”을 만드는 것과 “사실인 문장”을 만드는 것은 AI에게 서로 다른 과제. AI는 전자에 최적화되어 있습니다.

어느 분야에서 더 자주 틀리나

2026년 기준 주요 AI 모델의 평균 할루시네이션 비율은 전체 질문의 약 9.2%입니다. 최우수 모델인 구글 Gemini 2.0 Flash는 0.7%까지 낙았지만, 분야에 따라 수치는 크게 달라집니다.

법률 정보는 상위 모델 기준 6.4%, 전체 모델 평균 18.7%입니다다. 의료 및 건강 정보는 상위 모델 4.3%, 전체 평균 15.6%입니다. AI가 “자신 있게” 틀릴 확률이 가장 높은 영역은 전문 지식이 밀집된 분야입니다. 역설적으로, 우리가 AI에게 가장 많이 의존하고 싶어하는 분야이기도 합니다.

한 가지 더 주목할 통계가 있습니다. 기업 AI 사용자의 47%가 할루시네이션이 포함된 정보를 기반으로 주요 의사결정을 내린 경험이 있다고 응답했습니다. 오류가 있다는 걸 몰랐기 때문입니다.

왜 AI는 “모른다”고 말하지 않는가

AI 모델은 훈련 과정에서 “답변을 완성하라”는 방향으로 학습됩니다. 불확실성을 표현하거나 답변을 거부하는 것보다 그럴듯한 답변을 생성하는 쪽이 학습 지표상 더 높은 점수를 받는 경우가 많습니다.

추론 능력을 강화한 최신 모델에서도 이 문제는 사라지지 않았습니다. 오픈AI의 o3와 o4-mini 모델은 인물 관련 질문(PersonQA 벤치마크)에서 각각 33%와 48%의 할루시네이션 비율을 기록했습니다. 이전 모델(o1)의 두 배 이상이다. 더 똑똑해진 AI가 더 자신만만하게 틀리는 상황입니다.

지금 바로 쓸 수 있는 검증법 3가지

AI가 생성한 정보를 그대로 사용하기 전에 아래 세 단계를 거치면 오류를 걸러낼 수 있습니다.

1. 재질의로 자기 검증 유도하기

AI에게 같은 주제로 두 번 질문합니다. “방금 답변 중 확실하지 않은 부분이 있으면 알려줘”라고 추가로 물으면 AI 스스로 수정하거나 유보하는 경우가 있습니다. 완벽한 방법은 아니지만 명백한 오류를 걸러내는 첫 번째 체로 쓸 수 있습니다.

2. 고유명사 및 수치는 반드시 원출처 확인

논문 제목, 인물 발언, 통계 수치, 날짜는 AI가 가장 자주 틀리는 유형입니다. 이 정보들은 공식 사이트나 원문 기사에서 직접 확인하는 것을 원칙으로 삼습니다. AI의 답변은 “어디를 찾아야 하는지”를 알려주는 단서로만 활용합니다.

3. 독립된 두 출처로 교차 검증

AI가 제공한 정보와 동일한 내용을 서로 관계없는 두 개의 출처에서 확인할 수 있을 때만 사실로 받아들입니다. 두 출처가 모두 AI 생성 콘텐츠라면 교차 검증의 의미가 없습니다. 유력 언론, 학술 데이터베이스, 공공기관 자료를 우선합니다.

FAQ