'못 찾았다'와 '없다'는 다르다 — 부존재 신뢰도
AI가 지어낸 판례를 잡으려면 "그런 판례는 없다"고 말할 수 있어야 합니다. 그런데 데이터베이스에서 못 찾았다는 사실만으로 없다고 단정하면, 이번에는 확인하는 쪽이 거짓말을 하게 됩니다. 유메가 이 둘을 가르는 방법입니다.
왜 '없음'이 가장 어려운 판정인가
"있다"는 원문 한 줄이면 증명됩니다. "없다"는 그렇지 않습니다. 찾지 못한 이유는 여러 가지입니다 — 데이터베이스가 그 분야를 다 담고 있지 않거나, 검색어가 조금 달랐거나, 번호를 잘못 옮겨 적었거나, 원래 공개되지 않는 정보이거나. 이걸 구분하지 않으면 실재하는 판례를 "지어냈다"고 판정하는 오류가 생깁니다. 할루시네이션을 검사하는 쪽이 낼 수 있는 가장 해로운 오류입니다.
질문을 바꾼다 — "이 주장이 사실이라면 어디에 기록돼 있어야 하는가"
유메는 주장마다 검색공간을 정합니다. 조문이면 법령 데이터베이스, 판례면 판례 데이터베이스, DOI면 레지스트리, 공공 통계면 그 통계를 공표하는 기관입니다. 그리고 그 검색공간을 얼마나 충분히 탐색했는지를 따집니다.
세 가지 지표
| 지표 | 보는 것 |
|---|---|
| 탐색 커버리지 | 그 주장이 있어야 할 검색공간을 얼마나 탐색했는가. 낮으면 '없다'고 하지 않습니다. |
| 식별자 형식 | 사건번호·조문 번호·DOI가 형식상 성립하는가. 성립하지 않는 번호는 그 자체로 신호입니다. |
| 유사 실재 항목과의 근접도 | 번호 한 자리만 다른 실재 판례처럼, 비슷한 실재 항목이 있는가. 있으면 오기(誤記)일 가능성을 따로 봅니다. |
세 지표로 부존재 신뢰도를 산출하고, 임계값을 넘을 때만 '사실과 다름(존재하지 않음)'으로 판정합니다. 넘지 못하면 '확인되지 않음'으로 두고 어디까지 찾았는지를 같이 보여 줍니다.
단정하지 않는 경우
- 주체를 못 찾았을 때 — 주장하는 회사나 기관 자체를 찾지 못하면, 그 회사에 관한 사실이 '없다'고 하지 않습니다.
- 원래 공개되지 않는 정보 — 비공개 평점, 내부 규정, 개인 경험은 '공개 기록 밖'으로 둡니다. 공개 기록이 있어야 할 주장(공공 통계, 공시, 수상 기록)만 기록이 없을 때 '근거 없음'을 넘어 '사실과 다름'이 될 수 있습니다.
- 조회가 실패했을 때 — 공식 데이터베이스 조회 자체가 안 되면 '조회 실패'로 표시합니다. 유메 쪽 사정을 사용자의 오류로 돌리지 않습니다.
방향도 확인한다
"그런 판례는 없다"는 말도 사실 주장입니다. 실제로 없으면 그 말은 '확인됨'이고, 실재하는 판례를 없다고 했다면 '사실과 다름'입니다. 대상이 있느냐 없느냐를 주장의 방향과 맞춰 판정합니다 — "있는 규정 부정" 유형을 잡는 장치입니다.
부존재 신뢰도 산출 방법은 「검색공간 완전성 기반 부존재 신뢰도 정량화 방법 및 시스템」으로 특허 출원(10-2026-0194281, 청구항 15개, 심사 청구)되어 있습니다.