유메가 같은 방법으로 반복해 재는 AI 할루시네이션 공개 지표입니다. 숫자마다 표본과 신뢰구간을 함께 싣습니다.
재확인을 마친 감사 표본이 공개 기준을 넘으면 대표 숫자를 싣습니다. 표본 없이 숫자를 내지 않습니다. 이번 호는 방법과 기준선을 공개합니다.
실패 유형별 할루시네이션율입니다(유메 감사). 같은 AI라도 유형에 따라 크게 다릅니다.
이 기간에 해당하는 표본이 없습니다.
감사 대상 서비스의 업종 기준입니다.
이 기간에 해당하는 표본이 없습니다.
기업이 무료 점검으로 자기 AI에 질문을 넣고 받은 답을 유메가 채점한 결과입니다. 어느 회사의 어떤 AI인지는 남기지 않습니다.
이 기간의 자가 점검 표본이 없습니다.
이 기간 유메에 검사를 맡긴 글(대부분 AI 답변)에서 나온 사실 주장의 판정입니다. 의심스러워서 넣은 글이 많아 AI 답변 전체의 오류율보다 높게 나올 수 있습니다.
방법을 바꾸면 버전을 올리고 이 자리에 적습니다. 같은 버전의 호끼리만 직접 비교하세요.
AI 서비스가, 공식 원문으로 정답이 먼저 확정된 질문에 근거 없이 지어낸 답을 내는 비율입니다. '모른다'고 답하거나 틀린 전제를 바로잡은 답은 정상으로 셉니다.
법제처 국가법령정보·판례 데이터베이스와 학술 레지스트리(DOI)로 정답을 확정한 기준 문항입니다. 존재하지 않는 조문·판례를 묻는 문항, 틀린 수치가 든 자료로 고객 안내문을 쓰게 하는 문항, 최근 개정된 현행 기준을 묻는 문항 등이 섞여 있습니다.
유메 감사는 운영자가 대상 서비스를 일반 사용자로서 손으로 써서 답변을 받습니다(자동 대량 질의를 하지 않습니다). 기업 자가 점검은 기업이 자기 AI에 질문을 넣고 받은 답을 유메에 붙여넣은 것입니다.
정답을 아는 채점자가 두 번 따로 채점해 같을 때만 받아들이고, 갈리면 한 번 더 채점해 다수결로 정합니다. 채점 근거로 든 문장이 실제 답변에 없으면 그 채점은 버립니다. 출처를 요구한 문항은 답변이 댄 조문·사건번호·DOI를 공식 데이터베이스에 다시 조회합니다.
유메 감사에서 오류로 지목된 항목은 운영자가 공식 원문을 직접 열어 확인한 것만 오류로 셉니다. 애매한 항목은 빼고, 유메가 잘못 지목한 것은 정상으로 돌립니다.
할루시네이션 1, 부분 실패 0.5, 정상 0으로 세고 문항별 가중치를 반영해 평균합니다. 채점할 수 없었던 답은 분모에서 뺍니다. 95% 신뢰구간은 Wilson 방법으로 냅니다.
칸 하나의 표본이 20건 미만이면 비율을 싣지 않습니다. 대표 숫자는 표본이 100건 미만이면 '예비'로 표시합니다.
개별 회사·서비스 이름은 그 회사가 공개에 동의한 경우에만 싣습니다. 사례는 익명이며 답변 속 이름은 ○○로 가립니다.
지수의 숫자는 돈으로 바꿀 수 없습니다. 유메의 유료 고객도 같은 방법으로 세고, 결과가 나쁘다는 이유로 빼지 않습니다.
표본은 무작위 추출이 아닙니다(감사 대상과 자가 점검에 참여한 기업). 그래서 이 숫자는 국내 AI 서비스 전체의 오류율 추정치가 아니라, 같은 방법으로 잰 기간별 비교 지표입니다. 질문은 법령·판례처럼 공식 원문이 있는 분야에 치우쳐 있습니다. 결과는 답변을 받은 시점의 것입니다.
이 호의 숫자는 발행 순간 고정됐습니다. 아래 원자료(JSON)를 내려받아 SHA-256을 계산하면 이 지문과 같아야 합니다. 고친 적이 있으면 사유와 이전 지문을 모두 남깁니다.
인용: 유메, 「창간호 · 2026년 9~10월」, 2026년 10월 12일, https://www.yume-reamer.com/hallucination-index/founding