AI 할루시네이션이란? 왜 생기고, 왜 그럴듯한가

한 줄 정의

AI 할루시네이션은 대규모 언어 모델(LLM)이 존재하지 않는 사실·출처·수치를 만들어 내거나, 실재하는 사실을 틀리게 말하면서도 확신에 찬 문장으로 내놓는 것입니다. 없는 판례의 판시 사항을 설명하고, 없는 논문의 결론을 요약하고, 개정 전 기준을 현행처럼 안내합니다. "환각"이라는 번역어가 함께 쓰입니다.

왜 생기나 — 다섯 가지 원인

1. 언어 모델은 '참'이 아니라 '그럴듯함'을 고른다

언어 모델은 앞의 문맥 다음에 올 가능성이 높은 단어를 이어 붙이도록 학습됩니다. 문장이 사실인지를 따로 확인하는 장치는 그 과정에 없습니다. 그래서 "대법원 20○○다○○○○○ 판결"처럼 형식이 그럴듯한 문장은 내용이 사실이든 아니든 자연스럽게 만들어집니다.

2. 기억의 빈칸을 그럴듯하게 메운다

학습 데이터에 드물게 나오는 사실 — 덜 알려진 조문, 시행령의 세부 수치, 작은 회사의 고유 정보 — 일수록 모델의 기억은 흐릿합니다. 모델은 빈칸을 "모른다"로 두기보다 비슷한 패턴으로 채우는 경향이 있습니다. 유메가 감사 문항에 유명한 조문보다 덜 알려진 조문과 시행령 수치를 쓰는 이유가 이것입니다.

3. 학습한 시점에 멈춰 있다

법과 수치는 바뀝니다. 학습 이후 개정된 기간·금액·요건을 모델은 알 수 없고, 옛 기준을 현행처럼 말합니다. 개정 직후일수록 옛 기준이 학습 데이터에 더 많이 남아 있어 오히려 더 자신 있게 틀립니다.

4. 질문에 맞춰 주려 한다

"○○법 제5조 제7항에 따르면 어떻게 되나요?"처럼 질문에 틀린 전제가 깔려 있으면, 모델은 전제를 바로잡기보다 그 전제 위에서 설명을 지어내기 쉽습니다. 잘못 알고 묻는 사람일수록 더 크게 틀린 답을 받습니다.

5. 근거를 대라고 하면 근거 모양을 만든다

출처를 요구하면 출처처럼 보이는 문자열 — 사건번호, DOI, 기사 제목 — 을 생성합니다. 출처가 달려 있다는 이유로 읽는 사람은 오히려 더 믿게 됩니다.

왜 알아채기 어려운가

• 말투가 같다. 맞는 답과 틀린 답이 같은 확신으로 나옵니다.
• 형식이 완벽하다. 사건번호·조문 번호·DOI의 형식은 정확해서 눈으로는 걸러지지 않습니다.
• 부분만 틀린다. 조문은 실재하는데 기간 하나, 금액 하나만 다르게 말합니다. 가장 흔하고 가장 놓치기 쉬운 형태입니다.

할루시네이션이 아닌 것

의견, 취향, 미래에 대한 전망처럼 참·거짓을 가릴 수 없는 말은 할루시네이션 검사의 대상이 아닙니다. "사과는 맛있다"는 틀릴 수 없습니다. 다만 아직 정해지지 않은 미래 수치를 출처 없이 확정된 사실처럼 단정하면, 그건 '과신'이라는 할루시네이션입니다.

줄이는 것과 확인하는 것은 다르다

검색 결과를 붙여 주는 방식(RAG), 프롬프트 개선, 더 큰 모델은 할루시네이션을 줄입니다. 하지만 0으로 만들지는 못합니다. 그래서 틀리면 피해가 생기는 글 — 법령 안내, 상품 설명, 상담 답변, 보도자료 — 은 밖으로 나가기 전에 원문으로 확인하는 단계가 따로 필요합니다. 그 방법은 AI 할루시네이션 체크 방법에 정리했습니다.