할루시네이션이 비용이 된 순간들 — 법정, 고객 응대, 그리고 회사의 말

법정 — 존재하지 않는 판례

2023년 미국 뉴욕 남부 연방지방법원의 Mata v. Avianca 사건에서, 원고 측 변호사들은 ChatGPT가 만들어 준 판례들을 인용한 서면을 냈습니다. 인용된 판례 중 여섯 건은 존재하지 않았고, 법원은 2023년 6월 변호사들과 소속 로펌에 제재(5,000달러)를 부과했습니다. 법원은 AI 도구를 쓰는 것 자체는 문제가 아니라고 하면서, 제출 서면의 정확성을 확인할 책임은 변호사에게 있다고 밝혔습니다. AI가 지어낸 판례가 법정에 들어간 사건으로 가장 널리 알려진 사례입니다.

이후 같은 일이 세계 곳곳의 법원에서 반복되고 있습니다. 법원 문서에서 확인된 AI 할루시네이션 사례를 모으는 Damien Charlotin의 데이터베이스에는 2025년 12월 712건(Bloomberg Law 보도)이던 사례가 2026년 6월 18일 기준 1,624건으로 늘었습니다. 반년 남짓 만에 두 배가 넘었습니다.

고객 응대 — 챗봇의 말은 회사의 말

2024년 2월 캐나다 브리티시컬럼비아주 민사분쟁해결재판소(Civil Resolution Tribunal)의 Moffatt v. Air Canada 결정에서, 항공사 웹사이트 챗봇은 유족 할인 요금의 환불 조건을 실제 규정과 다르게 안내했습니다. 항공사는 챗봇이 별개의 존재라는 취지로 다퉜지만, 재판소는 항공사가 자기 웹사이트의 정보에 책임을 지며 챗봇의 정확성에 합리적인 주의를 기울이지 않았다고 보고, 고객의 손을 들어 줬습니다.

이 결정이 기업에 주는 메시지는 단순합니다. 고객에게 나간 AI의 답은 회사가 한 말로 취급될 수 있다는 것입니다. 청약철회 기간, 보증 범위, 환불 조건처럼 규정이 있는 안내일수록 그렇습니다.

국내 — 확인 의무가 커지는 환경

국내에서는 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」(AI 기본법)이 2026년 1월 22일부터 시행되어, 생성형 AI를 쓰는 서비스의 투명성 의무가 생겼습니다. 금융·의료·법률처럼 원래 표시·안내 규제가 있는 분야에서는 AI가 쓴 문장이라고 해서 책임이 가벼워지지 않습니다. 광고 심의, 상품 설명서, 보도자료처럼 이미 사람이 확인하던 자리에 AI가 들어오면서, 확인해야 할 문장의 양이 늘었습니다.

공통점

• 형식은 완벽했다. 판례 번호도, 환불 안내도 그럴듯했습니다.
• 아무도 원문을 열어 보지 않았다. 인용된 판례를 한 번만 조회했다면, 규정 원문을 한 번만 대조했다면 막을 수 있었습니다.
• 책임은 내보낸 쪽에 남았다. AI가 만들었다는 사실이 면책이 되지 않았습니다.

그래서 유메는 "AI가 한 번 더 확인했다"가 아니라 "무엇을 언제 어떤 원문으로 확인했는지"를 기록으로 남기는 쪽을 택했습니다. 그 방식은 원문이 판정한다 — 유메의 검증 기법에 정리했습니다.

출처: Mata v. Avianca, Inc., No. 22-cv-1461 (PKC), 678 F.Supp.3d 443 (S.D.N.Y. 2023년 6월 22일) · Moffatt v. Air Canada, 2024 BCCRT 149 (2024년 2월 14일) · Damien Charlotin, AI Hallucination Cases 데이터베이스(Bloomberg Law 2025년 12월 보도, 2026년 6월 18일 기준 1,624건).