AI 환각 검증 실무 가이드: 원인부터 5단계 루틴과 시나리오별 체크리스트까지

보고서 초안을 받았다.

문장은 매끄럽고, 숫자는 그럴듯하고, 각주에는 논문 제목까지 붙어 있습니다. 그런데 그 논문을 검색창에 넣어보니 결과가 없습니다. 제목도, 저자도, 연도도 세상에 존재하지 않는 조합이었습니다. 이 장면을 한 번이라도 겪은 사람은 그다음부터 모든 AI 답변 앞에서 잠깐 멈추게 됩니다. AI 환각 검증이 실무 과제로 올라오는 순간은 대개 이렇게 옵니다.

이 글을 처음부터 끝까지 읽지 않아도 괜찮습니다. 지금 당장 검증 절차부터 손에 쥐어야 한다면 체크리스트와 프롬프트 템플릿이 정리된 자료실에서 필요한 것만 꺼내 쓰셔도 됩니다.

핵심 요약

• AI 환각 검증의 출발점은 ‘거짓말 탐지’가 아니라 확률적 다음 토큰 예측이 낳는 작화(confabulation) 현상의 이해 — OpenAI 연구진도 완전 제거는 불가능하다고 설명
• 최신 모델 환각률은 과제에 따라 0.7~8%대로 편차가 크고 벤치마크(HHEM·TruthfulQA)마다 결과가 달라, ‘안전한 모델’보다 ‘위험한 작업’을 식별하는 관점이 필요
• 실무 방어의 핵심은 RAG·그라운딩 같은 기술보다 3단계 검증 루틴(출처 요구 → 1차 자료 대조 → 교차 모델 질의)과 시나리오별 체크포인트
• 코딩·법률·리서치·업무보고마다 환각이 드러나는 지점이 달라 검증 포인트도 분리 설계, 팀 단위에서는 AI 거버넌스 규칙으로 문서화

AI 환각 검증을 찾아보게 되는 계기는 대부분 비슷합니다. 누군가 AI로 만든 자료를 그대로 공유했고, 회의 중에 숫자 하나가 틀린 게 드러났습니다. 그 순간 조직에 남는 건 불신이고, 다음 주부터 “AI 쓰지 말자”는 말이 나옵니다.

하지만 도구를 치우는 건 해법이 아닙니다. 환각은 특정 모델의 결함이 아니라 언어모델 구조에서 나오는 성질이고, 그래서 고치는 버그가 아니라 관리하는 리스크에 가깝습니다. 모델을 바꾸는 것보다 검증 절차를 설계하는 쪽이 훨씬 빠르게 효과가 납니다.

이 글에서는 환각과 오정보의 개념 구분, 발생 원인, 모델별 환각률 비교, 그리고 코딩·법률·리서치·업무보고 네 가지 시나리오별 검증 체크리스트를 하나로 묶었습니다. OpenAI 연구와 공개 벤치마크 자료를 근거로 수치를 정리했고, 사내 AI 교육 현장에서 반복해 본 질문들을 기준으로 순서를 짰습니다.

읽고 나면 AI 답변에서 어떤 신호를 먼저 의심할지, 어떤 순서로 교차검증할지, 업무 상황별로 무엇을 반드시 확인해야 하는지가 손에 잡힙니다. 그대로 복사해 쓸 수 있는 프롬프트 템플릿도 함께 붙여두었습니다.

AI가 자신 있게 틀린 답을 하는 이유는 무엇인가요?

틀린 답보다 무서운 건 말투다.

AI가 “아마도”라고 말해주면 의심이라도 해보죠. 그런데 존재하지 않는 판례 번호를, 없는 논문 DOI를, 실존하지 않는 임상 데이터를 또박또박 적어 내려갑니다. 이 확신에 찬 오답이 바로 AI 환각(AI 할루시네이션)입니다.

정의는 단순합니다. 사실과 다르거나 아예 존재하지 않는 정보를, 모델이 사실인 것처럼 생성하는 현상입니다.

다음 토큰 예측 구조가 만드는 ‘그럴듯한 문장’

오해부터 풀어야 합니다. LLM은 어딘가에 저장된 진실을 꺼내 오는 검색 시스템이 아닙니다.

트랜스포머 구조의 언어 모델이 실제로 하는 일은 하나뿐입니다. 지금까지의 문맥을 보고 다음에 올 토큰의 확률을 계산하는 것. 문장이 사실인지는 계산 대상에 들어 있지 않습니다.

그래서 “확률적으로 가장 자연스러운 문장”과 “사실인 문장”이 갈리는 지점에서 모델은 전자를 고릅니다. 생성형 AI 오류의 상당수가 여기서 출발합니다.

작동 원리를 한 번만 제대로 이해해두면 검증의 감각이 달라집니다. 팀 단위로 이 개념을 맞추는 방법은 AI 업무 활용 가이드에서 직무별로 정리해 두었습니다.

작화(confabulation)와 소스 기억상실(source amnesia)

인지과학에는 작화증이라는 개념이 있습니다. 기억의 빈칸을 거짓말할 의도 없이 ‘가장 그럴듯한 내용’으로 메우는 증상입니다.

LLM의 행동은 환각보다 이 작화(confabulation)에 훨씬 가깝습니다. ACM 학술 논의(doi:10.1145/3618260.3649777)에서도 ‘환각’이라는 은유가 모델의 실제 동작을 가린다는 지적이 제기됐죠.

두 번째 열쇠는 소스 기억상실(source amnesia)입니다. 학습 과정에서 텍스트는 남고 출처 정보는 분리돼 사라집니다. 어디서 봤는지가 애초에 저장되지 않으니, 출처를 물으면 출처마저 생성해 버립니다.

그래서 환각은 고장이 아닙니다. 빈칸을 메우는 생성 능력이라는 설계 특성의 뒷면이고, 요약·초안 작성을 잘하게 만든 바로 그 성질이 틀린 사실도 매끄럽게 만들어 냅니다.

AI 환각과 오정보(misinformation)는 어떻게 구분하나요?

“그거 그냥 AI가 또 헛소리한 거 아니에요?”

회의실에서 자주 나오는 말입니다. 그런데 이렇게 뭉뚱그리면 재발 방지 액션을 잡을 수 없습니다. 원인이 다르면 처방도 다르기 때문입니다.

의도성과 출처로 나누는 4가지 유형

유형	무엇이 틀렸나	전형적 신호	대응 축
환각(hallucination)	학습 데이터에 없던 사실을 모델이 생성	존재하지 않는 논문·판례·URL, 그럴듯한 숫자	RAG·그라운딩, 출처 강제 프롬프트
오정보(misinformation)	데이터에 이미 있던 틀린 정보를 그대로 재생산	인터넷에 널리 퍼진 통설, 잘못된 속설	데이터 큐레이션, 1차 자료 출처 검증
편향(bias)	사실관계는 맞지만 관점이 한쪽으로 기움	특정 집단·브랜드·국가에 치우친 서술	반대 관점 질의, 복수 모델 교차검증
지식 컷오프	학습 시점 이후 바뀐 사실을 모름	개정 전 법령, 작년 조직도, 구버전 가격	검색 연동, 기준일 명시 요구

여기에 하나가 더 붙습니다. 전제는 맞는데 결론으로 가는 계산이 틀리는 추론 오류입니다. 이건 출처를 아무리 달아도 안 잡히고, 중간 과정을 쪼개 다시 묻는 방식으로만 걸러집니다.

유형이 다르면 대응도 달라집니다

환각은 모델이 참조할 근거 문서를 붙여 주는 RAG와 그라운딩으로 상당 부분 줄어듭니다. 반면 오정보는 아무리 그라운딩해도, 근거 문서 자체가 틀렸다면 그대로 통과합니다.

두 가지를 섞어 보고하면 팀은 엉뚱한 곳에 돈을 씁니다. 환각 문제에 데이터 정제 예산을 붙이거나, 오정보 문제에 검색 연동을 붙이는 식입니다. 환각과 오정보의 차이를 정리한 자료를 팀 위키에 한 장 걸어 두는 것만으로도 용어 혼선이 줄어듭니다.

정보 리터러시는 결국 분류 능력입니다. 틀렸다는 사실보다 어떤 종류로 틀렸는지를 적을 수 있어야 AI 신뢰성이 숫자로 관리됩니다. 조직 차원에서 이 역량이 어디쯤인지는 AI 활용 성숙도 5단계 기준으로 가늠할 수 있습니다.

환각은 왜 생기고, 왜 완전히 없앨 수 없나요?

“모델이 더 좋아지면 없어지지 않나요?” 교육장에서 가장 많이 받는 질문입니다. 솔직한 답은 아니오에 가깝습니다. 줄어들긴 하지만 0이 되지는 않습니다.

학습 데이터 공백과 롱테일 질문

환각률은 질문의 희소성에 따라 급격히 달라집니다. 많이 다뤄진 주제에서는 낮고, 데이터가 희박한 롱테일 영역에서는 치솟습니다.

국내 중소기업 담당자 이름, 비공개 사내 규정, 특정 지역의 조례. 이런 질문에서 모델은 참조할 패턴이 없어 일반화로 빈칸을 메웁니다.

과적합과 패턴 일반화가 결합하면 결과물은 더 교묘해집니다. 논문 제목의 형식, 저자 이름의 분포, DOI의 자릿수를 학습했기 때문에 형식만 완벽하고 실체는 없는 인용이 만들어집니다.

RLHF가 만든 ‘모른다고 말하지 않는’ 확신 편향

사람의 피드백으로 모델을 다듬는 RLHF 단계에서, 평가자는 대체로 도움이 되는 답에 높은 점수를 줬습니다. “모르겠습니다”는 좀처럼 좋은 점수를 받지 못했죠.

그 결과가 확신 편향입니다. 확률이 낮아도 일단 답을 내놓는 쪽이 보상을 받도록 학습된 겁니다. ‘모른다’고 말하지 못하는 AI를 다룬 보도가 짚은 지점도 같습니다.

OpenAI 연구가 말한 수학적 한계

OpenAI 연구진은 ‘Why Language Models Hallucinate’에서 더 불편한 이야기를 꺼냅니다. 문제는 모델이 아니라 평가 체계라는 겁니다.

객관식처럼 설계된 대부분의 LLM 벤치마크는 빈칸을 비워 두면 0점, 찍으면 맞을 확률이 생깁니다. TruthfulQA 같은 진실성 측정 시도가 있었지만, 주류 평가가 추측을 보상하는 한 모델은 계속 추측하도록 최적화됩니다.

그래서 실무의 프레임을 바꿔야 합니다. 제거(elimination)가 아니라 발생률 저감 + 탐지 체계입니다. 완벽한 모델을 기다리는 대신, 틀렸을 때 걸러지는 절차를 갖는 쪽이 책임 있는 AI에 가깝습니다.

한 제약사 사업부 강의를 준비하면서 받은 요청이 기억에 남습니다. 할루시네이션 방지를 ‘깊게’ 다뤄달라는 주문이었죠. 이미 부서용 앱까지 만들어 쓰는 팀이었는데도, 다음 고민은 도구가 아니라 출처를 어떻게 믿게 만들 것인가였습니다. 규제 산업일수록 요청이 구체적입니다. 비슷한 고민이라면 규제산업 AI 도입 로드맵이 참고가 됩니다.

36개 조직의 AI 성숙도 자가 진단을 모아 봤을 때, 8차원 중 가장 점수가 높았던 항목이 검증·신뢰(92.3점)였습니다. 사람들은 AI가 틀린 답을 내놓는 걸 꽤 잘 걸러냅니다. 문제는 그 잘 걸러내는 방법이 옆자리로 넘어가지 않는다는 데 있습니다.

검증을 개인기가 아니라 팀의 표준으로 만드는 일 — 그게 다음 장의 주제입니다. 표준화 설계가 급하다면 사내 AI 교육 8단계 실행법을 먼저 훑어도 좋습니다.

실제로 어떤 사고가 났나요? 업무 현장 사례 4선

“우리 팀은 그렇게까지 큰일 날 일은 없어요.”

교육장에서 자주 듣는 말입니다. 대부분은 맞는 말이기도 합니다. 문제는 한 번 터졌을 때 그 비용을 누가 무느냐입니다.

해외: 존재하지 않는 판례를 제출한 변호사

2023년 미국 뉴욕 남부연방법원의 Mata v. Avianca 사건입니다. 원고 측 변호인이 제출한 서면에 인용된 판례 여섯 건이 모두 존재하지 않는 것으로 드러났습니다.

변호인은 ChatGPT로 판례를 찾았고, 모델에 “이 판례가 진짜냐”고 되물었더니 진짜라고 답했다고 밝혔습니다. 법원은 변호사들에게 5,000달러의 제재를 부과했습니다.

가짜 판례는 제목·사건번호·인용 형식까지 실제처럼 생성됐습니다. 빈칸을 가장 그럴듯한 것으로 메우는 작화현상이 그대로 드러난 장면입니다.

어느 단계에서 걸러낼 수 있었나. 판례번호를 법률 데이터베이스에 한 번 조회하는 1분짜리 절차에서입니다.

항공사 고객 응대 챗봇이 실제로는 없는 유족 할인 환불 정책을 안내해, 회사가 그 안내에 책임을 진 사례도 있었습니다. 챗봇 답변을 약관 문서에 그라운딩하지 않은 설계 단계에서 갈렸습니다.

리서치 영역의 사고는 더 조용합니다. 존재하지 않는 논문 제목과 DOI, 출처 없는 통계 수치가 보고서 각주에 그대로 올라갑니다. DOI를 주소창에 붙여 넣는 10초면 끝날 일이었습니다.

국내 업무 환경에서 자주 보이는 환각 패턴

한국어 환경에서는 결이 조금 다릅니다. 시행령 조항 번호, 정부 지원사업 명칭, 기관 조직도, 사내 약어처럼 학습량이 적은 영역에서 오답이 눈에 띄게 늘어납니다.

공식 측정치가 공개된 영역은 아니라 어디까지나 경향에 대한 추정입니다. 다만 인공지능 환각의 롱테일 특성을 생각하면 설명이 됩니다. 데이터가 희소한 곳에서 모델은 더 자주 지어냅니다.

한 제약사 사업부 강의는 요청부터 결이 달랐습니다. 민감정보를 넣지 말라는 당부로 시작해달라, 할루시네이션 방지를 깊게 다뤄달라. 규제 산업일수록 주문이 구체적입니다.

이미 부서용 AI 앱까지 만들어 쓰는 팀이었습니다. 그런데도 다음 고민은 도구가 아니라 ‘출처를 어떻게 믿게 만들 것인가’였습니다. 규제산업 AI 도입 로드맵에서 다루는 거버넌스 질문이 여기서 시작됩니다.

GPT·Claude·Gemini 중 어느 모델이 덜 틀리나요? 환각률 비교

“그럼 더 좋은 모델로 바꾸면 되는 거 아닌가요.”

결재 라인에서 가장 많이 나오는 질문입니다. 답부터 말하면, 모델 교체는 리스크를 낮추지만 검증 절차를 대체하지 못합니다.

모델별 환각률 비교표(요약 기준·질의응답 기준)

먼저 두 지표의 측정 대상이 다르다는 점을 짚어야 합니다. Vectara HHEM은 주어진 문서를 요약할 때 원문에 없는 내용을 넣는 비율을 봅니다. TruthfulQA는 사람이 흔히 믿는 오답을 모델이 따라가는지를 봅니다.

전혀 다른 시험입니다. 두 점수를 한 줄에 놓고 비교하면 해석이 틀어집니다.

모델 계열	요약 기준 환각률	측정 조건·출처	개방형 질의 시 경향(추정)
Gemini 2.0 Flash 계열	약 0.7%	Vectara HHEM 리더보드, 2025년 공개치 / 요약 과제	수 배 상승 가능
GPT-4o 계열	약 1.5%	동일 리더보드 / 요약 과제	수 배 상승 가능
GPT-4 Turbo	약 1.7%	동일 리더보드 / 요약 과제	롱테일 사실에서 특히 상승
Claude 3.5 Sonnet 계열	약 1.9%	동일 리더보드 / 요약 과제	출처 요구 시 거부 응답 비중 높음(추정)

벤치마크 수치를 실무에 옮길 때 주의할 점

상위 모델의 환각률이 1% 안팎으로 수렴한 것은 사실입니다. 다만 이 숫자는 “문서를 줬을 때 그 문서 안에서 요약하라”는 조건의 결과입니다.

문서 없이 던지는 개방형 질문은 조건이 완전히 다릅니다. 국내 법령 조항이나 특정 기업 공시처럼 희소한 사실을 물으면 오답 비율은 몇 배로 뜁니다.

그래서 실무의 핵심 변수는 모델명이 아니라 문서를 붙였는지입니다. RAG로 사내 문서를 물려두는 설계가 모델 교체보다 환각률을 더 크게 떨어뜨립니다.

OpenAI 연구진도 평가 체계가 추측을 보상하는 한 LLM의 환각은 지속된다고 정리했습니다. 벤치마크 1위 모델을 사도 조직의 할루시네이션 탐지 책임은 남습니다.

McKinsey의 AI 현황 조사에서도 조직이 가장 흔히 겪은 생성형 AI 리스크로 부정확성이 꼽혔습니다. 도구 선정 기준을 정리하려면 AI 업무 활용 가이드의 직무별 적용 기준이 출발점이 됩니다.

AI 답변을 받으면 무엇부터 확인해야 하나요? 5단계 검증 루틴

검증을 안 하는 사람은 거의 없습니다. 다들 나름의 방법으로 걸러냅니다.

두 달간 36개 조직이 응답한 성숙도 진단에서 가장 높은 항목이 검증·신뢰(92.3점)였습니다. 가장 낮은 셋은 도구·거버넌스·자산화였습니다. 사람들은 잘 걸러내는데, 그 방법이 옆자리로 넘어가지 않습니다.

1차 스크리닝: 환각 의심 신호 7가지

• 소수점까지 떨어지는 구체적 통계 수치
• 확인하기 어려운 연·월·일이 붙은 서술
• 처음 보는 인명·기관명·법령 조항 번호
• 논문 제목과 DOI가 세트로 등장하는 인용
• 지나치게 매끄럽고 반론이 없는 요약
• 출처를 묻지 않았는데도 출처가 알아서 붙은 경우
• 되물었을 때 답이 바뀌는 항목

교차검증 3종: 출처 대조·다중 모델 질의·역질문

5단계 루틴은 이렇게 돌아갑니다. 위험도가 낮은 초안 작성에는 1~2단계만 적용해도 충분합니다.

• 1단계 위험도 분류 — 외부 공개용·법적 효력 있는 문서는 전수 검증, 내부 초안은 샘플 검증
• 2단계 출처 요구 — “근거 문장을 원문 그대로 인용하라”로 재질문
• 3단계 1차 자료 대조 — DOI, 판례번호, 법령 조항을 원 사이트에서 직접 조회
• 4단계 교차 모델 질의 — 같은 질문을 ChatGPT·Claude·Gemini에 던져 합의 여부 확인
• 5단계 기록·승인 — 검증 로그 1줄 작성 후 확인자 서명

4단계가 PromptQuorum 합의 점수가 말하는 방식입니다. 세 모델이 같은 답을 내면 신뢰 구간이 올라가고, 하나만 다른 답을 내면 그 항목을 사람이 봅니다.

복사해서 쓰는 검증 프롬프트 템플릿

Before: “이 문서 요약해줘.”

After: “첨부 문서만 근거로 요약하라. 각 문장 뒤에 근거가 된 원문 문장을 그대로 인용하고, 문서에 없는 내용은 ‘문서에 없음’이라고 표시하라. 추정은 하지 말 것.”

한 줄 바꿨을 뿐인데 모델이 지어낼 공간이 줄어듭니다. 프롬프트 엔지니어링에서 그라운딩이 하는 역할이 이것입니다.

일자	질문	모델	확인한 출처	확인자
2026-03-04	시행령 개정 시점	ChatGPT	국가법령정보센터 원문	김○○

스물네 명이 전원 AI를 쓰는데 남이 받아 쓸 수 있는 형태로 가진 사람은 0명이던 사업부가 있었습니다. 검증도 같습니다. 로그 한 줄이 개인기를 팀 표준으로 바꿉니다.

우리 조직이 어느 지점에서 막혀 있는지 숫자로 보려면 AI 활용 성숙도 5단계 진단이 그 역할을 합니다. 검증 체계를 교육 커리큘럼에 넣는 순서는 기업 AI 교육 도입 8단계 로드맵에 정리해 두었습니다.

코딩·법률·리서치·업무보고, 상황마다 검증법이 어떻게 달라지나요?

체크리스트를 받고도 멈추는 지점이 있습니다. “그래서 내 일에는 뭘 보라는 거지?”

같은 환각이라도 코드에서 터지는 모양과 보고서에서 터지는 모양이 다릅니다. 확인해야 할 대상도, 걸리는 시간도 다릅니다.

시나리오별 환각 발생 지점과 필수 확인 항목

아래 표는 네 가지 업무 상황에서 환각이 주로 어디에 박히는지, 무엇으로 대조해야 하는지를 정리한 것입니다.

시나리오	환각이 박히는 지점	대조할 1차 자료	확인 소요
코딩	존재하지 않는 라이브러리·API·파라미터, 폐기된 메서드	공식 문서와 패키지 저장소, 그리고 실행 테스트	5~15분
법률·사내 규정	판례번호, 조문번호, 시행일, 개정 전 조항	국가법령정보센터·대법원 판례 원문, 사내 규정 최신본	15~30분
리서치	논문 제목·저자 조합, DOI, 인용 통계 수치	DOI 실존 확인 후 원문 본문에서 수치 재확인	20~40분
업무보고·제안서	시장 규모, 경쟁사 실적, 전문가 인용문	원출처 보고서의 해당 페이지까지 추적	30분~

코딩은 그나마 운이 좋은 편입니다. 없는 함수는 실행하면 바로 깨지니까요. 반대로 보고서의 가짜 시장 규모는 임원 발표 자리에서야 드러납니다.

리서치에서 특히 주의할 건 DOI입니다. 모델은 doi:10.1145/3618260.3649777처럼 형식이 완벽한 식별자를 만들어냅니다. 형식이 맞다는 건 실존한다는 뜻이 아닙니다.

‘AI에게 맡겨도 되는 일 / 사람이 반드시 봐야 할 일’ 구분선

모든 답변을 같은 강도로 검증하면 업무가 멈춥니다. 기준은 세 가지입니다. 외부에 공개되는가, 금전적 영향이 있는가, 법적 구속력이 있는가.

• 1등급(내부 초안) — 셋 다 해당 없음. 읽어보고 어색하면 되묻는 수준으로 충분합니다.
• 2등급(사내 공유·의사결정 참고) — 하나 해당. 숫자와 고유명사만 골라 출처 검증을 겁니다.
• 3등급(외부 공개·계약·규제 문서) — 둘 이상 해당. 1차 자료 대조와 다른 모델 교차검증을 모두 거치고, 사람 승인자의 서명이 남아야 합니다.

규제 산업일수록 요청이 구체적이었습니다. 한 제약사 사업부는 강의 전에 할루시네이션 방지를 ‘깊게’ 다뤄달라고 먼저 주문했습니다. 이미 부서용 AI 앱까지 만들어 쓰는 팀이었는데도요.

그 팀의 다음 고민은 도구가 아니었습니다. 출처를 어떻게 믿게 만들 것인가였습니다. 이 구분선을 팀 문서로 만들어두면 매번 고민하지 않아도 됩니다.

직무마다 등급표의 모양이 달라집니다. 부서별로 어떤 업무가 몇 등급인지 먼저 맞춰보려면 직무별 AI 업무 활용 쪽 정리가 출발점이 됩니다. 규제 산업이라면 규제산업 AI 도입 기준을 함께 보는 편이 안전합니다.

RAG를 도입하면 환각이 사라지나요? 기술적 방어와 조직 거버넌스

“사내 문서 연결하면 되는 거 아닌가요?” 교육장에서 자주 나오는 질문입니다. 절반은 맞습니다.

RAG·그라운딩이 줄여주는 것과 못 줄이는 것

RAG(Retrieval-Augmented Generation)는 모델이 답하기 전에 지정된 문서를 먼저 검색해 오게 하는 구조입니다. 모델의 기억 대신 눈앞의 문서를 근거로 삼게 만드는 것, 이것이 그라운딩(Grounding)입니다.

효과는 분명합니다. 사내 규정이나 제품 스펙처럼 학습 데이터에 없던 정보를 다룰 때 환각률이 크게 떨어집니다.

문제는 ‘그라운딩 실패’입니다. 검색이 엉뚱한 문서를 가져오거나, 문서에 애초에 답이 없을 때 모델은 조용히 자기 기억으로 돌아가 빈칸을 메웁니다. 겉보기엔 출처가 붙어 있어 더 믿음직해 보입니다.

그래서 설정이 함께 가야 합니다. 온도(temperature)를 낮춰 창의적 조합을 줄이고, 근거 문장 인용을 강제하고, 무엇보다 “문서에 없으면 없다고 답하라”는 답변 거부(abstention)를 허용해야 합니다.

기술은 발생률을 낮춥니다. 탐지와 책임은 여전히 사람 쪽에 남습니다.

팀에 적용하는 AI 사용 규칙 4가지

규칙은 길 필요가 없습니다. A4 한 장이면 충분합니다.

1. 표기 의무 — AI가 초안을 쓴 문서는 어디에 어떻게 썼는지 한 줄로 남깁니다.
2. 승인 권한자 지정 — 3등급 산출물은 지정된 사람의 확인 없이 밖으로 나가지 않습니다.
3. 금지 용도 목록 — 개인정보·미공개 실적·계약서 원문 입력 금지를 명시합니다.
4. 사고 보고 경로 — 환각을 발견했을 때 숨기지 않고 공유할 창구를 둡니다.

네 번째가 제일 자주 빠집니다. 틀린 답을 걸러낸 경험이 개인 머릿속에만 남고 옆자리로 넘어가지 않기 때문입니다.

두 달간 36개 조직의 AI 성숙도 진단 응답을 받아봤습니다. 8차원 중 가장 높은 항목이 검증·신뢰 92.3점이었고, 가장 낮은 셋은 도구 활용 폭 59.2, 보안·거버넌스 61.1, 자산화·공유 63.5였습니다.

가장 높은 하나는 사람이 스스로 길러낸 능력이고, 가장 낮은 셋은 전부 회사가 깔아 줘야 하는 장치였습니다. 검증을 못 하는 게 아니라, 검증하는 법이 조직에 남지 않는 것입니다.

McKinsey의 연례 AI 조사에서 생성형 AI를 업무에 도입한 조직 비율은 해마다 오르지만, 환각을 포함한 부정확성 리스크를 실제로 관리한다고 답한 비율은 그에 한참 못 미칩니다. 도입과 거버넌스 사이의 이 간격이 책임 있는 AI의 출발점입니다.

HRD 입장에서 할 일은 하나 더 있습니다. AI 리터러시 교육에 개념 설명만 넣지 말고, 참가자가 자기 업무 문서로 직접 틀린 답을 잡아보는 검증 실습을 커리큘럼에 박아 넣는 것입니다.

커리큘럼 설계 단계에서 검증 모듈을 어디에 끼울지는 기업 AI 교육 도입 8단계에서 다룬 순서를 따라가면 정리됩니다. 우리 조직이 지금 어느 지점인지 모르겠다면 AI 활용 성숙도 진단으로 8차원 점수와 병목을 먼저 확인해보는 쪽이 빠릅니다. 리포트는 품의서 배경란에 그대로 붙일 수 있습니다.

자주 묻는 질문

AI 환각은 완전히 없앨 수 없나요?

없앨 수 없습니다. 0%가 목표가 되는 순간 방향이 틀어집니다. LLM은 사실을 조회하는 장치가 아니라 다음 토큰의 확률을 계산하는 장치이고, 평가 체계가 ‘모르겠습니다’보다 그럴듯한 추측을 더 높게 쳐주는 한 추측은 계속 보상받습니다. OpenAI 연구진이 Why Language Models Hallucinate에서 지적한 지점도 같습니다. 현실적인 목표는 제거가 아니라 발생률 저감과 탐지 체계입니다. 쉽게 말해 사고를 없애는 게 아니라, 사고가 밖으로 나가기 전에 걸리는 구조를 만드는 일입니다.

AI 환각과 오정보(misinformation)는 어떻게 다른가요?

출처가 다릅니다. 환각은 학습 데이터에 없던 사실을 모델이 새로 지어낸 것이고, 오정보는 데이터에 원래 있던 틀린 정보를 그대로 재생산한 것입니다. 가짜 DOI나 존재하지 않는 판례번호는 앞쪽, 잘못 알려진 통계나 지난 버전의 규정은 뒤쪽입니다. 대응도 갈립니다. 환각은 RAG와 그라운딩으로 줄이고, 오정보는 출처 검증과 데이터 큐레이션으로 잡습니다. 오류 유형을 먼저 분류해야 재발 방지 액션이 엉뚱한 곳으로 가지 않습니다.

AI 환각률은 실제로 얼마나 되나요?

조건을 빼고는 말할 수 없는 숫자입니다. 문서 요약 과제 기준으로 최신 상위 모델의 환각률은 0.7~2%대까지 내려왔지만, 이건 ‘답이 이미 들어 있는 문서를 줬을 때’의 수치입니다. 문서 없이 던지는 개방형 질문, 특히 한국 법령명이나 사내 용어처럼 학습량이 적은 롱테일 사실에서는 여러 배로 뜁니다. 측정 기준(Vectara HHEM과 TruthfulQA)이 서로 다른 것을 재고 있다는 점도 함께 봐야 합니다.

RAG를 쓰면 환각이 완전히 사라지나요?

줄어들지만 사라지지 않습니다. RAG의 정확도는 검색 품질과 문서 커버리지에 그대로 묶여 있어서, 사내 문서에 답이 없거나 검색이 엉뚱한 문단을 물어오면 모델은 여전히 빈칸을 그럴듯하게 메웁니다. 이른바 그라운딩 실패입니다. 근거 문장 인용을 강제하고, ‘문서에 없으면 없다고 답하라’는 거부 허용(abstention)을 기본값으로 켜 두는 설정이 함께 가야 합니다. 기술은 확률을 낮추고, 규칙은 남은 확률을 잡습니다.

AI 답변을 믿기 전 무엇부터 확인해야 하나요?

숫자, 고유명사, 인용. 이 셋을 먼저 의심하면 대부분 걸립니다. 구체적인 수치와 날짜, 기관명과 사람 이름, 그리고 “~에 따르면”으로 시작하는 문장이 환각이 가장 잘 숨는 자리입니다. 의심 지점을 찾았다면 출처를 되물어 받고, 받은 출처의 1차 자료를 직접 열어 대조하는 순서로 갑니다. 두 단계면 끝납니다. 외부로 나가는 문서라면 여기에 다른 모델에 같은 질문을 던져 합의 여부를 보는 과정을 한 번 더 붙입니다.

마무리

검증을 잘하는 사람은 이미 조직 안에 있습니다. 문제는 그 방법이 옆자리로 넘어가지 않는다는 것입니다.

• 환각은 버그가 아니라 확률적 생성 구조의 부작용 — 제거가 아닌 저감과 탐지가 목표
• 모델 선택과 RAG는 리스크를 낮추는 장치일 뿐, 검증 절차의 대체물이 아님
• 검증 강도는 용도별 리스크 등급(공개 범위·금전적 영향·법적 구속력)에 따라 차등

지금 당장 할 수 있는 건 하나입니다. 이번 주에 AI로 만든 문서 한 건을 골라, 숫자·고유명사·인용 세 군데에 표시하고 1차 자료를 열어 대조해보는 것. 30분이면 끝납니다.

그런데 여기서 막히는 지점이 생깁니다. 혼자서는 잘 걸러내는데, 그 방법을 팀 규칙으로 올리는 순간 ‘누가 승인하나’, ‘어디까지 검증 의무인가’ 같은 질문이 따라붙습니다. 실제로 36개 조직 진단에서 가장 높았던 항목은 개인의 검증·신뢰 역량(92.3점)이었고, 가장 낮은 셋은 전부 회사가 깔아 줘야 하는 장치였습니다. 개인기는 이미 충분한데 체계가 비어 있는 상태죠.

그 간극을 메우는 순서는 AI 활용 성숙도 5단계에서 현재 위치를 확인한 뒤, 기업 AI 교육 도입 8단계 로드맵으로 넘어가는 쪽이 빠릅니다. 규제 산업이라면 규제산업 AI 도입 가이드의 승인 체계 부분을 먼저 보셔도 됩니다.

검증 규칙을 사내 가이드라인으로 올리려면 결국 품의가 필요합니다. 이미 한 번 ‘보안은 어떻게 하나’, ‘효과를 무엇으로 증명하나’로 반려당한 상태라면, 빈 양식보다 채워진 문서가 필요합니다. 가상 기업 시나리오로 전 칸을 채운 품의서 완성 예시본과, 반려 사유 5가지별로 그대로 복사해 쓰는 재상신 문구, 제약=환자 정보·금융=신용 정보처럼 산업별 추가 조항 주석이 붙은 사내 가이드라인이 들어 있습니다. AI 교육 도입 서류 3종 무료로 받기 — 전 칸을 채운 품의서 완성 예시본과 반려 사유 5가지별 재상신 문구 포함 (편집용 DOCX)