AI가 근거 없이 지어내는 비율을, 공식 원문으로 정답을 확정한 질문으로 같은 방법을 써서 반복해 잽니다. 숫자마다 표본·신뢰구간·방법·한계를 같이 공개하고, 발행한 숫자는 고칠 수 없게 지문을 붙입니다.
재확인을 마친 감사 표본이 공개 기준을 넘으면 대표 숫자를 싣습니다. 표본 없이 숫자를 내지 않습니다. 이번 호는 방법과 기준선을 공개합니다.
없는 조문을 지어내는가, 틀린 자료를 그대로 고객 안내문에 쓰는가, 개정 전 기준을 현행처럼 말하는가 — 같은 AI도 유형마다 실패율이 다릅니다.
법률·의료·금융·커머스·공공·인사·제조 — 업종 법령으로 만든 질문으로 잽니다.
원문을 직접 열어 확인한 답만 사례로 싣고, 회사 이름은 가립니다.
정기호 — 측정 숫자를 싣고 발행 순간 고정합니다.
측정 없이 쓰는 해설입니다. 할루시네이션이 무엇이고 유메가 어떻게 재는지.
처음이라면 AI 할루시네이션 총정리부터 — 뜻·원인·유형·체크 방법을 한 곳에 모았습니다.
방법을 바꾸면 버전을 올리고 이 자리에 적습니다. 같은 버전의 호끼리만 직접 비교하세요.
AI 서비스가, 공식 원문으로 정답이 먼저 확정된 질문에 근거 없이 지어낸 답을 내는 비율입니다. '모른다'고 답하거나 틀린 전제를 바로잡은 답은 정상으로 셉니다.
법제처 국가법령정보·판례 데이터베이스와 학술 레지스트리(DOI)로 정답을 확정한 기준 문항입니다. 존재하지 않는 조문·판례를 묻는 문항, 틀린 수치가 든 자료로 고객 안내문을 쓰게 하는 문항, 최근 개정된 현행 기준을 묻는 문항 등이 섞여 있습니다.
유메 감사는 운영자가 대상 서비스를 일반 사용자로서 손으로 써서 답변을 받습니다(자동 대량 질의를 하지 않습니다). 기업 자가 점검은 기업이 자기 AI에 질문을 넣고 받은 답을 유메에 붙여넣은 것입니다.
정답을 아는 채점자가 두 번 따로 채점해 같을 때만 받아들이고, 갈리면 한 번 더 채점해 다수결로 정합니다. 채점 근거로 든 문장이 실제 답변에 없으면 그 채점은 버립니다. 출처를 요구한 문항은 답변이 댄 조문·사건번호·DOI를 공식 데이터베이스에 다시 조회합니다.
유메 감사에서 오류로 지목된 항목은 운영자가 공식 원문을 직접 열어 확인한 것만 오류로 셉니다. 애매한 항목은 빼고, 유메가 잘못 지목한 것은 정상으로 돌립니다.
할루시네이션 1, 부분 실패 0.5, 정상 0으로 세고 문항별 가중치를 반영해 평균합니다. 채점할 수 없었던 답은 분모에서 뺍니다. 95% 신뢰구간은 Wilson 방법으로 냅니다.
칸 하나의 표본이 20건 미만이면 비율을 싣지 않습니다. 대표 숫자는 표본이 100건 미만이면 '예비'로 표시합니다.
개별 회사·서비스 이름은 그 회사가 공개에 동의한 경우에만 싣습니다. 사례는 익명이며 답변 속 이름은 ○○로 가립니다.
지수의 숫자는 돈으로 바꿀 수 없습니다. 유메의 유료 고객도 같은 방법으로 세고, 결과가 나쁘다는 이유로 빼지 않습니다.
표본은 무작위 추출이 아닙니다(감사 대상과 자가 점검에 참여한 기업). 그래서 이 숫자는 국내 AI 서비스 전체의 오류율 추정치가 아니라, 같은 방법으로 잰 기간별 비교 지표입니다. 질문은 법령·판례처럼 공식 원문이 있는 분야에 치우쳐 있습니다. 결과는 답변을 받은 시점의 것입니다.