무료 템플릿
AI 검증 키트 — 공격형 질문 3개 · 오류 5칸 분류표 · 테스트 10개 양식
요소 44,000개짜리 설계 파일을 AI에게 올리고 '오류 있나요?'라고 물었더니 '오류가 발견되지 않았습니다'라는 답이 왔습니다. 같은 파일을 전용 검사 도구에 넣자 170건이 나왔습니다. 그 AI는 파일 형식을 직접 읽지 못했는데, 못 읽었다고 하지 않고 없다고 답했습니다. 이 키트는 AI 결과물을 받아 검토·승인하는 분이 '오류 있나요?' 대신 쓰는 네 가지를 한 장에 모은 것입니다.
- 1.오늘 받은 AI 결과물 하나에 1부의 공격형 질문 하나를 그대로 붙여 넣으세요.
- 2.나온 지적을 2부의 5칸 중 하나에 적으세요. 'AI가 틀림'이라는 칸은 없습니다.
- 3.같은 칸이 3번 나오면 그 칸의 처방을 붙이고, 3부의 테스트 10개로 고치기 전과 후를 비교하세요.
AI 검증 키트(PDF) 무료로 받기
공격형 질문 3개 · 오류 5칸 기록표 · 테스트 10개 양식 · 빈칸 한 줄 — 출력해서 바로 채우는 PDF 석 장을 메일로 보내드립니다.
수집된 이메일은 자료 발송과 교육 안내에만 사용됩니다.
템플릿 전문
AI 검증 키트 (v1 · 팬덤퍼널)
AI에게 "오류 있나요?"라고 묻지 않습니다. 틀린 곳을 찾게 시킵니다.
1부. 공격형 질문 3개 — 그대로 복사해서 쓰세요
① 숫자 대조 이 보고서에서 숫자끼리 맞지 않는 곳을 찾아라. 직접 계산해서 확인하고, 어느 줄과 어느 줄이 어긋나는지 적어라. 맞는 곳은 쓰지 마라. ② 곤란한 질문 이 자료를 읽고 경영진이 물을 질문 10개를 뽑아라. 답하기 곤란한 순서로 정렬해라. ③ 근거 없는 단정 내가 쓴 문장 중에 근거 없이 단정한 것만 표시해라. 자료에 없는 숫자를 쓴 곳도 함께.
💡 답을 만들게 하면 틀렸을 때 처음부터 다시 봐야 합니다. 공격하게 하면 틀린 지적은 버리면 끝입니다 — 정답은 검토하는 사람이 알고 있으니까요. ①의 마지막 줄(맞는 곳은 쓰지 마라)을 빼면 답이 길어지고 틀린 한 줄이 그 사이에 묻힙니다.
2부. 오류 5칸 분류표 — 'AI가 틀림' 대신
| 칸 | 뜻 | 처방 | 이번 주 건수 |
|---|---|---|---|
| 누락 | 필요한 내용이 빠짐 | 체크리스트 | ____ |
| 왜곡 | 원문의 뜻이 바뀜 | 원문 대조 | ____ |
| 환각 | 없는 사실·숫자를 만듦 | 출처 검증 | ____ |
| 형식 | 요구한 틀과 다름 | 템플릿 | ____ |
| 판단 | 기준을 잘못 적용함 | 기준과 반례 | ____ |
오류 기록 한 줄 양식 날짜 | 작업 | 칸(누락·왜곡·환각·형식·판단) | AI가 쓴 문장 | 실제 | 영향도(상·중·하) | 붙인 처방
💡 고치는 순서는 빈도 × 영향도입니다. 자주 나는 오류가 아니라 크게 다치는 오류부터 — 보고서라면 오탈자 10개보다 없는 숫자 1개가 더 크게 다칩니다.
3부. 대표 테스트 10개 양식 — 프롬프트를 고치기 전에
프롬프트를 고칠 때마다 같은 10개로 다시 시험합니다. 몇 개가 통과했는지, 위험 사례에서 틀린 것이 있는지만 봅니다.
| 번호 | 종류 | 실제 입력 | 기대 결과 | 합격 기준 | 통과 |
|---|---|---|---|---|---|
| 01 | 정상자주 들어오는 입력 | ____ | ____ | ____ | □ |
| 02 | 정상자주 들어오는 입력 | ____ | ____ | ____ | □ |
| 03 | 정상자주 들어오는 입력 | ____ | ____ | ____ | □ |
| 04 | 정상자주 들어오는 입력 | ____ | ____ | ____ | □ |
| 05 | 경계판단이 갈리는 입력 | ____ | ____ | ____ | □ |
| 06 | 경계판단이 갈리는 입력 | ____ | ____ | ____ | □ |
| 07 | 경계판단이 갈리는 입력 | ____ | ____ | ____ | □ |
| 08 | 위험틀리면 큰 사고가 나는 입력 | ____ | ____ | ____ | □ |
| 09 | 위험틀리면 큰 사고가 나는 입력 | ____ | ____ | ____ | □ |
| 10 | 위험틀리면 큰 사고가 나는 입력 | ____ | ____ | ____ | □ |
💡 입력은 현업에서 실제로 들어오는 것으로, 기대 결과는 좋은 답의 예시로, 합격 기준은 통과·반려를 가르는 한 줄로 적습니다. 프롬프트는 바뀌어도 이 10개는 남고, 도구를 바꿀 때도 그대로 씁니다.
4부. 빈칸을 지어내지 못하게 하는 한 줄
AI에게 자료를 넘길 때, 있는 것만 주지 말고 없는 것도 적어 줍니다. [자료 없음] 3분기 지역별 매출. 추정하지 말고 '확인 필요'로 남겨라. [계산 실패] 이 근거는 쓰지 마세요.
💡 빈칸이라고 알려 주지 않으면 AI는 그럴듯한 말로 채웁니다. 팬덤퍼널 대표가 직접 만든 사주 앱의 프롬프트에는 「계산 실패. 이 근거는 쓰지 마세요.」가 세 군데 들어 있습니다.
내일 아침 10분
1. 오늘 받은 AI 결과물 하나에 공격형 질문 1개 2. 나온 지적을 5칸에 나눠 적기 ('AI가 틀림' 금지) 3. 같은 칸이 3번 나오면 처방을 붙이고 테스트 10개로 확인