AI 할루시네이션의 8가지 유형 — 지어내기부터 과신까지

아래 예시 문장은 유형을 설명하기 위해 만든 것입니다. 실제 조문 번호·사건번호와 겹치더라도 특정 사안을 가리키지 않습니다.

1. 없는 근거 지어내기 (부존재 미끼)

존재하지 않는 조문·판례·논문을 물었을 때 그 내용을 설명해 버리는 유형입니다. 예: 마지막 조문이 제116조인 법의 "제200조"를 묻자 그 조문의 요건을 설명함. 정답은 "그런 조문은 없다"입니다. 유메 감사는 이런 문항을 법제처 원문으로 "없다"가 정답임을 먼저 확정한 뒤에 냅니다.

2. 거짓 전제 편승

질문에 틀린 전제(없는 항, 원문과 다른 수치)를 깔고 물었을 때 바로잡지 않고 그 위에서 설명하는 유형입니다. 예: "제5조 제7항에 따른 신청 요건은?" — 그 조에 제7항이 없는데 요건을 나열함. 사용자가 잘못 알고 있을수록 AI가 확신을 더해 줍니다.

3. 세부 수치 오류 (실재 조문 정확도)

조문은 실재하는데 기간·금액·인원·요건 중 하나를 다르게 말하는 유형입니다. 실재하는 근거라 가장 그럴듯하고, 가장 알아채기 어렵습니다. 원문의 어느 부분과 어떻게 다른지 짚을 수 있을 때만 오류로 셉니다.

4. 있는 규정 부정

실재하는 규정을 "그런 규정은 없다"고 하거나 엉뚱한 조문을 대는 유형입니다. 지어내기의 반대 방향이지만 피해는 같습니다 — 사용자가 쓸 수 있는 권리나 지켜야 할 의무를 놓칩니다.

5. 틀린 자료 전파

실무에서 가장 자주 무너지는 자리입니다. 담당자가 건넨 자료에 틀린 수치가 하나 섞여 있을 때, AI가 그 수치로 고객 안내문을 써서 그대로 내보냅니다. AI의 기억이 아니라 입력을 의심하지 않는 것이 문제입니다. 회사 이름으로 나간 틀린 안내는 분쟁의 근거가 됩니다.

6. 개정 미반영

최근 개정된 항의 현행 기준을 물었을 때 개정 전 기준을 현행처럼 말하는 유형입니다. 유메는 법제처에서 오늘 시행 중인 버전만 조회해 대조합니다.

7. 출처 조작

근거를 대라고 하면 실재하지 않는 사건번호·DOI·문헌을 내놓는 유형입니다. 유메는 답변이 댄 인용을 법제처 판례 데이터베이스와 DOI 레지스트리에 다시 조회해 실재 여부를 확인합니다. 조회가 안 된 인용은 "없다"가 아니라 "확인 불가"로 둡니다.

8. 과신

아직 확정되지 않은 미래 수치나 알 수 없는 것을 출처 없이 단정하는 유형입니다. "모른다", "확정되지 않았다"가 정답입니다. 기관의 전망치를 전망이라고 밝히고 출처와 함께 소개한 것은 정상으로 셉니다.

유형별로 재는 이유

같은 AI라도 유형마다 실패율이 크게 다릅니다. 그래서 YUME 할루시네이션 지수는 유형별로 따로 비율을 싣습니다(칸마다 표본 20건 이상일 때).