AI 할루시네이션 체크 방법 — 답변을 원문으로 확인하는 5단계
AI 답변의 할루시네이션을 체크하는 가장 확실한 방법은 단순합니다 — 주장마다 원문을 열어 대조하는 것. 문제는 그 일을 빠뜨리지 않고, 일관되게, 빠르게 하는 것입니다. 사람이 손으로 하는 5단계와, 유메가 그 5단계를 자동으로 하는 방식을 함께 적었습니다.
1단계 — 사실 주장만 뽑는다
답변 전체를 읽고 "맞는 것 같다"고 판단하지 말고, 참·거짓을 가릴 수 있는 문장만 따로 적습니다. 숫자, 날짜, 기간, 금액, 이름, 기관명, 조문 번호, 사건번호, 논문, 인용문. 한 문장에 사실이 둘이면 둘로 나눕니다. "근로자에게", "모든", "확실히" 같은 조건과 범위도 같이 적어야 합니다 — 조건을 빼고 대조하면 틀린 말이 맞는 말로 보입니다.
2단계 — 그 사실이 '있어야 할 곳'을 정한다
| 주장의 종류 | 확인할 원문 |
|---|---|
| 법령·조문 | 국가법령정보센터(법제처) — 현행 원문 |
| 판례·사건번호 | 법원·법제처 판례 데이터베이스 |
| 논문·연구 | DOI 레지스트리, 학술 데이터베이스 |
| 통계·수치 | 발표 기관의 원 발표 자료 |
| 회사 고유 정보 | 그 회사의 약관·상품 설명서·공식 발표 |
검색 결과 요약이나 다른 AI의 답은 원문이 아닙니다.
3단계 — 원문을 직접 열고, 지금 시행 중인 버전인지 본다
법령은 개정 이력이 있습니다. 시행일을 확인하고 현행 버전과 대조합니다. 판례는 사건번호로 조회되는지, 논문은 DOI가 실제로 등록돼 있는지부터 봅니다.
4단계 — 문장 단위로 대조한다
"대체로 맞다"는 판정이 아닙니다. 요건·기간·금액·예외가 원문과 같은지 하나씩 봅니다. 가장 흔한 할루시네이션은 실재하는 조문에서 숫자 하나만 다른 것입니다.
5단계 — 못 찾은 것은 '없다'가 아니라 '확인 안 됨'으로, 그리고 기록한다
찾지 못했다고 곧바로 "지어냈다"고 하면, 이번에는 확인하는 쪽이 틀립니다. 어디까지 찾았는지 적고, 원래 공개되지 않는 정보인지 구분합니다. 그리고 무엇을 언제 어떤 원문으로 확인했는지 남깁니다 — 나중에 문제가 되면 그 기록이 증거입니다. '못 찾았다'와 '없다'를 가르는 방법은 부존재 신뢰도에 따로 적었습니다.
- 사실 주장을 조건까지 포함해 하나씩 뽑았다
- 주장마다 원문이 있어야 할 곳을 정했다
- 원문을 직접 열었고, 현행 버전이다
- 숫자·기간·요건을 문장 단위로 대조했다
- 사건번호·DOI는 실제로 조회했다
- 못 찾은 것은 '확인 안 됨'으로 두고, 확인 기록을 남겼다
유메로 할루시네이션 체크하기
유메는 위 5단계를 자동으로 합니다. AI 답변이나 문서를 붙여 넣으면 사실 주장을 하나씩 떼어 내고(1단계), 법률 주장은 법제처 국가법령정보 공동활용 API의 현행 원문, 판례·논문은 공식 데이터베이스와 레지스트리, 나머지는 웹 출처에서 대조합니다(2~4단계). 근거를 찾지 못한 주장은 '확인되지 않음'으로 두고 그 이유(근거 없음 / 공개 기록 밖 / 조회 실패)를 붙이며, 주장마다 근거 문장과 출처를 남깁니다(5단계).
- 유메에서 바로 체크하기 — 매일 무료 3회, AI 답변을 통째로 붙여 넣어도 됩니다.
- 문서 검사 — HWPX·DOCX·PDF를 올리면 틀린 곳과 고친 본문.
- 검증 API — 서비스에서 답변이 나가기 전에 자동으로.
- AI 감사 — 귀사 AI 서비스를 표본으로 검사하고 사람이 재확인한 보고서.
유메도 생성형 AI를 씁니다(주장 추출·검색어·고친 문장). 판정은 원문과 대조한 결과로만 단정하며, 100% 정확하다고 말하지 않습니다.