YUME
YUME 할루시네이션 지수 · 특별호 2 · 유메는 어떻게 재는가

원문이 판정한다 — 유메의 검증 기법과 차별점

AI가 쓴 글을 AI에게 다시 확인시키면, 같은 기억에서 같은 답이 나옵니다. 유메는 판정을 AI의 기억에 맡기지 않습니다. AI는 일을 나누고 찾는 데 쓰고, 판정은 원문이 합니다. 그 구조와, 우리가 하지 못하는 것을 적었습니다.

유메(YUME)2026년 10월 12일읽는 데 약 7분

세 가지 방식 비교

AI에게 다시 묻기검색 요약형 팩트체크유메
판정의 근거모델의 기억검색 결과 요약공식 원문·출처 문장
법령기억 속 조문웹 문서법제처 현행 원문 직접 조회
"없다"는 판정짐작검색 결과 없음 = 없음부존재 신뢰도 — 임계값 넘을 때만
근거를 못 대면그래도 답함요약으로 덮음'확인되지 않음'으로 내림
남는 것대화요약문주장별 판정·근거·출처·원문 위치(JSON)

1. 주장을 하나씩 떼어 낸다

글을 문장이 아니라 사실 주장 단위로 나눕니다. 한 주장에는 사실 하나만 담습니다. 이때 원문의 조건("근로자에게", "모든", "확실히")이 빠지면 틀린 말이 맞는 말로 바뀌므로, 판정 전에 원문의 조건을 다시 붙입니다. 주장마다 원문 속 위치도 기록합니다.

2. 주장의 종류에 맞는 원문으로 간다

  • 법률 — 법제처 국가법령정보 공동활용 API로 조문 원문을 받습니다. 오늘 시행 중인 버전만 조회하고, 폐지된 법령이면 따로 알립니다.
  • 식별자 — 사건번호·DOI는 판례 데이터베이스와 DOI 레지스트리에 실재하는지 조회합니다.
  • 일반 사실 — 웹 출처에서 근거 문장을 찾되, 그 문장이 출처에 실제로 있는지 다음 단계에서 다시 확인합니다.
  • 회사 고유 사실 — 기업이 기준 자료(약관·상품 정보)를 함께 보내면 공개 웹이 아니라 그 자료와 대조합니다. 기준 자료는 저장하지 않습니다.

3. 근거 잠금 — 출처를 직접 열고, 모르는 검토자에게 다시 묻는다

웹 판정의 근거 문장은 서버가 출처 페이지를 직접 열어 그 문장이 실제로 있는지 확인합니다. 그리고 처음 판정을 모르는 독립 검토 단계에 같은 근거를 다시 보여 줍니다. 둘 다 통과한 판정만 나갑니다. 통과하지 못한 판정은 거두고, 사실이라면 기록이 있어야 할 주장이면 부존재 검증을 한 번 더 거칩니다.

4. 정밀도를 먼저 — 확실한 것만 단정한다

  • 출처를 대지 못하는 '확인됨'과 '사실과 다름'은 자동으로 '확인되지 않음'으로 내려갑니다.
  • '사실과 다름' 지목은 따로 한 번 더 검토합니다 — 맞는 정보를 거짓이라 부르는 것이 가장 해로운 오류라서입니다.
  • '확인되지 않음'에는 이유를 붙입니다: 근거 없음 / 공개 기록 밖 / 조회 실패.
  • '없다'는 판정은 부존재 신뢰도가 임계값을 넘을 때만 냅니다.

5. 고친 문장은 판정이 끝난 뒤에

틀린 문장을 근거에 적힌 실제 값으로 고친 문장을 제안합니다. 판정이 모두 확정된 뒤에만 만듭니다 — 중간에 판정이 바뀌면 맞는 문장을 고치라고 권하게 되기 때문입니다. 고친 문장에는 AI가 생성했다는 표시가 붙습니다.

6. 검사에서 감사와 지수로

같은 판정 기술로 회사의 AI 서비스를 표본 감사합니다. 감사 문항은 정답을 법제처 원문으로 먼저 확정해 두고, 채점은 정답을 아는 채점자가 두 번 따로 해서 같을 때만 받아들입니다(갈리면 한 번 더, 다수결). 채점 근거로 든 문장이 실제 답변에 없으면 그 채점은 버립니다. 유메가 지목한 오류는 사람이 원문을 직접 열어 확인한 것만 셉니다. 그렇게 모인 결과가 YUME 할루시네이션 지수가 되고, 발행본에는 고칠 수 없는 지문이 붙습니다.

AI를 쓰는 곳, 쓰지 않는 곳

생성형 AI를 쓴다AI에 맡기지 않는다
주장 추출, 검색어 작성, 근거 후보 찾기, 고친 문장 제안, 감사 채점 보조법령·판례·DOI의 실재 여부(공식 데이터베이스 조회), 근거 문장이 출처에 있는지(서버가 직접 확인), 판정의 근거

할 수 없는 것

  • 100% 정확하지 않습니다. 원문으로 확인된 것만 단정하고, 나머지는 '확인되지 않음'으로 둡니다.
  • 공개 기록이 없는 것은 판정하지 못합니다. 비공개 정보는 '공개 기록 밖'입니다.
  • 법률·의료·금융 자문이 아닙니다. 판정은 원문과 대조한 검사 결과이며, 최종 판단과 책임은 글을 내보내는 쪽에 있습니다.

그래서 유메가 드리는 것은 보증이 아니라 기록입니다 — 무엇을 언제 어떤 원문으로 확인했는지. 직접 써 보시려면 유메에서 할루시네이션 체크를, 회사 AI라면 기업용을 보세요.

특별호 2 · 유메는 어떻게 재는가의 다른 글

함께 읽기