사내 AI 교육 성과 측정법: ROI를 숫자로 보고하는 4단계 지표
교육 마지막 날, 만족도 설문 결과가 4.6점으로 나왔다.
담당자는 그 숫자를 보고서 첫 줄에 적습니다. 그런데 3개월 뒤 임원 회의에서 질문이 하나 들어옵니다. “그래서 그 교육으로 뭐가 달라졌나요?” 만족도 점수는 그 질문에 아무 대답도 해주지 못합니다. 사내 AI 교육 성과 측정이 어려운 이유는 측정할 도구가 없어서가 아니라, 무엇을 언제 재야 하는지 정해두지 않고 교육을 시작했기 때문입니다.
이 글을 처음부터 끝까지 읽을 필요는 없습니다. 지금 우리 조직의 현재 위치부터 숫자로 확인하고 싶다면 3분 AI 성숙도 무료 진단이 기준선 자료를 대신해 줍니다.
핵심 요약
- 사내 AI 교육 성과 측정의 출발점은 만족도 점수가 아니라 교육 전 업무 시간·처리 건수를 기록한 기준선(baseline)
- 즉시(0~2주 산출물) → 단기(4~8주 업무 변화) → 중기(3~6개월 확산·내재화) → 재무(ROI 환산)로 이어지는 4단계 측정 타임라인
- ROI 공식은 ‘(절감 시간 × 인건비 단가 × 적용 인원 − 총 교육비) ÷ 총 교육비 × 100’, 여기에 시간 절감이 생산량으로 이어지지 않는 ‘생산성 단절’까지 병기
- 개발·영업·HR·마케팅별로 다른 지표 매트릭스, 그리고 경영진용 1페이지 보고서 구성안
사내 AI 교육 성과 측정에서 담당자가 가장 자주 막히는 지점은 보고 직전이 아니라 그 훨씬 앞입니다. 교육 전에 아무 숫자도 기록해두지 않은 것이죠. 비교 대상이 없으니 “체감상 빨라졌다”는 말밖에 남지 않습니다.
에이블런 조사에서는 AI 교육 성과를 측정하지 못하는 기업이 95%에 이른다는 결과가 나왔습니다(헬로티). 측정 의지가 없어서가 아니라, 측정 설계를 교육 기획과 분리해서 생각하기 때문입니다.
저는 SK텔레콤·존슨앤드존슨·롯데에서 30년 가까이 일하며 결재하는 쪽에 앉아 교육 품의서를 승인하고 반려해봤습니다. 반려한 품의서의 공통점은 하나였습니다. 무엇이 좋아지는지는 쓰여 있는데, 좋아졌는지 어떻게 확인할지가 비어 있었습니다.
이 글에서는 교육 전 기준선 설문지 설계, 직무군별 지표 선정, 절감 시간을 금액으로 바꾸는 ROI 계산 공식, 경영진 1페이지 보고서 구성까지 그대로 복사해 쓸 수 있는 측정 체계를 정리했습니다. 한국은행·대한상공회의소·McKinsey·BCG 등 흩어진 리포트 수치도 하나의 비교표로 묶었습니다. 교육 예산 단계부터 다시 보고 싶다면 AI 도입 ROI 측정 가이드와 함께 읽으면 연결이 쉬워집니다.
만족도 4.5점을 보고했는데 왜 경영진은 다시 묻나요?
교육은 끝났습니다. 설문 평균은 4.5점, 자유응답에는 “실무에 도움이 됐다”가 줄지어 있습니다.
그런데 보고 자리에서 나오는 질문은 하나입니다. “그래서 뭐가 좋아졌습니까?” 이 질문에 답할 숫자가 없어서 회의실이 조용해집니다.
만족도 점수는 커크패트릭 모델의 1단계, 반응(Reaction)입니다. 강사가 좋았는지, 진행이 매끄러웠는지를 재는 지표죠. 3단계 행동과 4단계 결과와는 상관관계가 약합니다.
실제로 국내 기업 상당수가 AI 교육을 하고도 성과를 숫자로 설명하지 못한다는 AI 교육 성과 측정 관련 조사 보도가 있습니다. 도구가 없어서가 아닙니다.
진짜 원인은 다른 데 있습니다. 교육 전에 아무것도 기록해두지 않았다는 것입니다. 비교할 출발점이 없으니, 교육 후 수치가 좋아도 그게 교육 덕인지 증명할 방법이 없습니다.
결재하는 쪽에 앉아 교육 품의서를 승인하고 반려해본 입장에서 말하면, 반려의 이유는 대개 문장력이 아니었습니다. 작년에 뭐였고 올해 뭐가 됐는지가 없었을 뿐입니다.
이 글은 네 가지를 다룹니다. 기준선 설문 템플릿, 4단계 측정 타임라인, ROI 계산 공식, 그리고 경영진용 1페이지 보고 양식입니다.
측정은 8단계 중 7번째 과제입니다. 진단부터 커리큘럼, 품의, 문화 정착까지 전체 흐름은 기업 AI 교육 도입 가이드에서 순서대로 확인할 수 있습니다.
교육 전에 무엇을 기록해 두어야 나중에 증명할 수 있나요?
“원래 그 정도는 하지 않았나요?” 이 한마디에 보고서 전체가 무너집니다. 막을 방법은 교육 2주 전에 찍어둔 스냅샷 하나뿐입니다.
기준선 측정은 거창한 프로젝트가 아닙니다. 8문항 설문과 시스템 로그 몇 개면 충분합니다.
교육 2주 전에 받아야 할 기준선 설문 8문항
- 이번 주 가장 반복적으로 한 업무 두 가지는 무엇입니까
- 그 업무에 주당 몇 시간을 씁니까 (30분 단위로 응답)
- 업무에 AI 도구를 쓴 빈도는 주 몇 회입니까
- 가장 자주 쓰는 AI 도구 이름과 용도는 무엇입니까
- 최근 한 달간 결과물을 다시 만든(재작업) 횟수는 몇 번입니까
- 보고서·기획서 초안 1건을 만드는 데 평균 몇 시간이 걸립니까
- AI로 업무를 처리하는 자신감을 1~5점으로 매기면 몇 점입니까
- AI를 쓰지 않는(못 쓰는) 가장 큰 이유는 무엇입니까
설문 말고 시스템에서 자동으로 뽑을 수 있는 데이터
자기보고 설문은 낙관 편향이 있습니다. 사람은 자기 업무 시간을 실제보다 짧게 기억합니다. 그래서 객관 데이터를 나란히 놓습니다.
- AI 도구 계정 로그 — 활성 계정 비율, 주간 대화 세션 수. AI 활용률 측정 방법 중 가장 조작이 어려운 지표입니다
- 고객지원: 티켓 처리 건수, 1건당 평균 응답 시간
- 개발: 코드 리뷰 리드타임, PR 머지 소요 시간
- 마케팅·기획: 월간 문서·콘텐츠 산출 건수, 수정 반려 횟수
- 대조군: 같은 직무에서 미수강 인원 5~10명의 동일 지표
대조군이 있으면 설득력이 다릅니다. 수강 그룹만 오르고 미수강 그룹은 그대로일 때, 그 차이가 곧 교육의 몫입니다.
수집 자체도 담당이 정해져야 굴러갑니다. 누가, 언제, 어디에 저장하는지를 한 줄로 못 박아두는 편이 낫습니다.
- 담당: HRD 1명 + 각 부서 데이터 담당 1명
- 시점: 교육 시작 14일 전 설문 발송, 7일 전 마감
- 저장: 공용 드라이브 단일 시트, 교육 후 동일 문항 재사용
설문 돌릴 여유가 없다면 조직 진단이 그 역할을 대신합니다. AI 활용 성숙도 5단계 점검으로 나온 현재 단계와 병목이 그대로 기준선 첫 줄이 됩니다.
언제 무엇을 재야 하나요? 즉시·단기·중기·재무 4단계 타임라인
교육 다음 날 업무 시간 단축률을 물으면 아무 답도 나오지 않습니다. 지표마다 익는 시점이 다르기 때문입니다.
커크패트릭 4단계를 시간축에 얹으면 정리가 됩니다. 반응은 당일, 학습은 2주, 행동은 8주, 결과는 6개월입니다.
| 시점 | 측정 질문 | 대표 지표 | 데이터 출처 | 목표값 예시 | 보고 대상 |
|---|---|---|---|---|---|
| 0~2주 (학습) | 실제로 만들어냈는가 | AI 업무 지시서 제출률, 실무 과제 완성도, 활성 계정 비율 | 과제 제출 시트, 도구 관리자 콘솔 | 제출률 80%, 활성 계정 70% | HRD 팀장 |
| 4~8주 (행동) | 일하는 방식이 바뀌었는가 | 주당 업무 시간 단축률, 처리 건수, 재작업률, 현업 적용률 | 사후 설문(기준선 동일 문항) + 시스템 로그 | 단축률 15%, 재작업률 −20% | 현업 부서장 |
| 3~6개월 (결과) | 조직에 남았는가 | 동료 전파 건수, 부서 표준 프로세스 반영, 정착률, 학습 커뮤니티 활동량 | 사내 위키 문서 수, 커뮤니티 게시글, 부서 SOP | 정착률 60%, 표준 반영 2건 | 임원·경영진 |
| 6개월 (재무) | 돈으로 얼마인가 | 시간 절감액, 외주비 절감, ROI(%) | 인건비 단가 × 절감 시간 | ROI 150% 이상 | CFO·경영회의 |
0~2주: 산출물 지표로 ‘실제로 만들었는가’를 본다
이 구간에서는 만족도를 묻지 않습니다. 대신 결과물이 있는지를 봅니다.
교육에서 참가자 전원이 자기 업무 기준 ‘AI 업무 지시서’ 1건을 완성해 나가는 방식을 쓰는 이유가 여기 있습니다. 제출률은 세지만 감상은 세지 못하니까요.
4~8주: 업무 변화 지표로 ‘일하는 방식이 바뀌었는가’를 본다
기준선 설문과 똑같은 문항을 다시 돌리는 구간입니다. 문항이 바뀌면 비교가 깨집니다.
한 IT 기업 마케팅팀에서는 잘 쓰는 직원과 못 쓰는 직원의 간극이 위화감으로 번지고 있었습니다. 평균값만 보면 이 격차가 통째로 가려집니다. 그래서 평균과 함께 하위 25% 그룹의 변화를 따로 봅니다.
3~6개월: 확산·내재화 지표로 ‘조직에 남았는가’를 본다
여기서 갈립니다. 개인기로 끝난 교육은 3개월이면 흔적이 사라집니다.
남은 조직에는 공통점이 있습니다. 누군가의 프롬프트가 부서 표준 문서로 옮겨 적혔다는 것입니다. 확산율보다 이 한 건이 더 강한 증거입니다.
중기 구간을 어떻게 설계하는지는 AI 업무 활용 90일 로드맵에 단계별로 정리해 두었습니다. 재무 단계 계산식은 AI 도입 ROI 측정 가이드와 이어서 보면 빈틈이 줄어듭니다.
측정 지표를 먼저 정하지 않으면 교육 자체가 흔들린다는 지적은 성과 지표와 내재화를 다룬 업계 인터뷰에서도 반복됩니다. 지표는 사후 도구가 아니라 설계 도구입니다.
AI 교육 ROI, 실제로 어떤 공식으로 계산하나요?
숫자를 만들어내는 것 같아 손이 멈추죠. 추정은 조작이 아닙니다.
가정을 표에 적어두고 그 가정까지 함께 보고하면 추정치도 의사결정 근거가 됩니다. 반대로 가정을 숨긴 깔끔한 숫자가 더 자주 반려됩니다.
SK텔레콤·존슨앤드존슨·롯데에서 결재하는 쪽에 앉아 교육 품의서를 승인하고 반려해봤습니다. 반려한 문서의 공통점은 편익이 작다는 게 아니었습니다. 그 편익이 어떤 가정에서 나왔는지가 어디에도 없었다는 점이었습니다.
- 총 편익을 세 갈래로 나눠 적습니다. ①시간 절감액 = 주당 절감 시간 × 시간당 인건비 × 적용 인원 × 적용 주수 ②재작업 감소액 = 감소한 재작업 건수 × 건당 처리 비용 ③외주·툴 대체 절감액.
- 총 투자를 빠짐없이 넣습니다. 교육비, 강사비, 참가자 기회비용(교육 시간 × 인건비), AI 도구 구독료까지입니다. 항목별 단가 근거는 기업 AI 교육 비용 시뮬레이션에서 가져오면 재계산 요청을 줄일 수 있습니다.
- 보정 계수를 곱합니다. 실제 적용률(예: 60%)과 자기보고 할인율(예: 0.7)을 시간 절감액에 곱해 과대 추정을 막습니다.
- 공식에 대입합니다. ROI(%) = (총 편익 − 총 투자) ÷ 총 투자 × 100.
기본 공식과 30명 교육 시 계산 예시
30명이 수강하고, 주당 2시간을 절감했다고 자기보고한 경우로 12개월을 계산해봅니다. 시간당 인건비는 3만 원, 적용 주수는 48주로 둡니다.
- 시간 절감액 원값: 30명 × 2h × 3만 원 × 48주 = 8,640만 원
- 보정 후(0.6 × 0.7 = 0.42): 약 3,629만 원
- 재작업 감소액: 월 20건 감소 × 건당 5만 원 × 12개월 = 1,200만 원
- 총 편익 약 4,829만 원 / 총 투자 3,300만 원(교육·강사비 1,500만, 기회비용 720만, 구독료 1,080만)
- ROI = (4,829 − 3,300) ÷ 3,300 × 100 ≈ 46%
보정을 빼면 ROI는 200%를 넘습니다. 그 숫자를 그대로 올리는 순간 질문은 편익이 아니라 계산의 신뢰도로 옮겨갑니다.
시간 절감액만 넣으면 안 되는 이유: 생산성 단축 보정
업무 시간 단축률은 잘 나오는데 생산량이나 매출은 그만큼 움직이지 않습니다. 절감한 시간이 새 산출물로 재투입되지 않고 흩어지는 구간, 이른바 생산성 단절입니다.
한국은행 이슈노트와 산업연구원 조사가 공통으로 보여주는 격차도 여기에 있습니다. 개인 단위 시간 절감은 확인되지만, 조직 단위 생산성 지표로 전이되는 비율은 훨씬 낮습니다.
그래서 ROI 산출 시 재작업률처럼 품질 쪽 지표를 함께 넣습니다. 국내에서도 AI 교육 성과를 측정하지 못하는 기업이 대다수라는 조사가 나온 배경이 이 전이 구간의 공백입니다.
개발팀과 영업팀을 같은 지표로 재도 될까요? 직무군별 지표 매트릭스
같은 설문을 전사에 돌리면 편해 보이죠. 그런데 개발자에게 “문서 작성 시간이 줄었나”를 묻는 순간 응답률부터 떨어집니다.
지표는 직무의 실제 산출물에 붙어야 합니다. 아래 매트릭스는 다섯 직무군의 교육 효과 측정 지표를 데이터 출처까지 묶은 것입니다.
| 직무군 | 핵심 업무 | 기준선 지표 | 단기 성과 지표 | 데이터 출처 |
|---|---|---|---|---|
| 개발 | 코드 작성·리뷰 | 코드 리뷰 리드타임, 테스트 코드 작성 시간 | 리드타임 단축률, 버그 재작업률 | Git·이슈트래커 로그 |
| 영업 | 제안·고객 응대 | 제안서 초안 작성 시간, 미팅당 준비 시간 | 초안 작성 시간 단축률, 고객 응대 리드타임 | CRM 기록, 주간 보고 |
| HR·인사 | 채용·사내 커뮤니케이션 | 직무기술서·공고 작성 시간 | 작성 시간 단축률, 사내 문의 응대 자동화 비율 | ATS, 문의 채널 티켓 |
| 마케팅·콘텐츠 | 콘텐츠 기획·제작 | 월 콘텐츠 초안 생산량 | 초안 생산량 증가율, 외주 의존 건수 변화 | 콘텐츠 캘린더, 발주 내역 |
| CS | 문의 응대 | 문의 1건당 응대 시간 | 응대 시간 단축률, 응답 품질 점수 | 상담 시스템, QA 평가 |
원칙은 하나입니다. 직무별로 지표는 두 개까지, 여기에 AI 도구 계정 로그 기반의 AI 활용률 하나를 공통으로 붙이는 정도가 현장이 버티는 한계입니다.
측정 지표가 셋을 넘어가면 응답이 형식화됩니다. 업스킬링 단계에서는 활용률, 리스킬링 단계에서는 산출물 지표에 무게를 두는 편이 읽기 쉽습니다.
지표 설계와 커리큘럼은 붙어 있어야 합니다. 어떤 모듈을 배웠는지에 따라 잴 수 있는 것이 달라지므로, 직무별 AI 교육 커리큘럼 설계법과 이 매트릭스를 나란히 놓고 맞추면 빈칸이 줄어듭니다.
한 IT 기업 마케팅팀에서는 잘 쓰는 직원과 못 쓰는 직원의 간극이 위화감으로 번졌습니다. 그때 필요한 지표는 개인 성적이 아니라 팀 표준 반영 건수였습니다. AI 리터러시를 성과평가에 연결하는 기업 사례도 늘고 있어, 지표 선정은 평가 설계와 함께 봐야 합니다.
우리 회사 수치가 잘 나온 건지 어떻게 판단하나요? 외부 벤치마크 비교표
시간 20% 단축, 이게 잘한 건지 혼자서는 판단이 안 되죠. 비교 대상이 없으면 좋은 숫자도 그냥 숫자입니다.
| 출처 | 조사 대상 | 가져올 수치 | 우리 지표에 쓰는 법 |
|---|---|---|---|
| 한국은행 이슈노트 | 국내 산업·노동시장 | AI 도입과 노동생산성 전이 정도 | 시간 절감 대비 생산성 반영률의 상한 근거 |
| 대한상공회의소·산업연구원 | 국내 기업 AI 활용 실태 | AI 도입률(발표 시점 기준 30%대) | 우리 활용률이 업계 대비 어디쯤인지 배치 |
| McKinsey HR Monitor | 글로벌 HR·인력 운영 | 교육·역량 투자 우선순위 변화 | 교육 예산 배분의 정당화 근거 |
| BCG AI at Work | 글로벌 직장인 AI 사용 | 일상적 사용자 비율, 시간 절감 체감치 | 자기보고 절감치의 벤치마크 비교 |
| Gartner·SHRM | 기업 IT·HR 담당자 | AI 정착 실패율, 스킬 격차 인식 | 정착률 목표값 설정 시 참조 |
표를 채울 때 한 가지 규칙이 있습니다. 수치는 원문에서 직접 확인하고 조사 시점과 표본을 함께 적는 것입니다. 시점이 빠진 인용은 질문 한 번에 무너집니다.
공통 패턴은 분명합니다. 시간 단축률은 두 자릿수로 보고되는데 생산량·매출 증가는 그보다 훨씬 작습니다. 보고서에서 이 격차를 먼저 인정하면 신뢰가 올라갑니다.
보고 포맷은 ‘우리 회사 값 / 업계 평균’ 두 칸 병기가 읽기 편합니다. 지표별 목표값 설계는 AI 도입 ROI 측정 가이드에서 단계별로 정리해뒀습니다.
기준선 설문을 돌릴 여유가 없다면 AI 활용 성숙도 진단이 그 자리를 대신합니다. 조직 점수와 병목이 리포트로 나와, 벤치마크 표의 ‘우리 회사 값’ 칸에 바로 넣을 수 있습니다.
경영진 보고서 한 장에는 무엇을 담아야 하나요?
표는 다 만들었는데 어디부터 펼칠지 모르겠죠. 데이터가 부족한 게 아니라 순서가 없는 겁니다.
결재하는 쪽에 앉아 교육 품의서를 승인하고 반려해보면 알게 되는 게 하나 있습니다. 임원은 리포트를 읽지 않고 첫 줄만 봅니다. 그 첫 줄이 숫자가 아니면 나머지는 넘어갑니다.
1페이지 리포트 6블록 구성
- 한 문장 결론 — “30명 교육, 12개월 ROI 180%, 2차 확대 요청”
- 기준선 대비 변화 3지표 — 절감 시간·재작업률·활성 사용률
- ROI 숫자와 산식 한 줄 — 편익과 투자 항목을 괄호로 노출
- 직무별 하이라이트 1~2개 — 가장 잘 나온 팀의 실제 산출물
- 미달 항목 — 목표에 못 미친 지표와 추정 원인
- 다음 분기 의사결정 요청 — 예산, 인원, 시점을 숫자로
번역이 절반입니다. ‘프롬프트 역량 향상’은 보고서 언어가 아닙니다. “제안서 작성 리드타임 40% 단축, 연 환산 4천만 원”으로 바꿔 적으면 같은 데이터가 예산 문서가 됩니다.
가상의 B사 이야기를 하나 하겠습니다. 1차 교육 후 만족도 4.6점만 올렸다가 2차 예산이 절반으로 깎였습니다.
담당자는 그다음 분기에 기준선부터 다시 모았습니다. 절감 시간과 재작업 건수를 8주간 추적해 ROI 한 줄로 올렸고, 2차 예산은 오히려 늘었습니다. 바뀐 건 교육이 아니라 보고 형식이었습니다.
월간 대시보드는 네 칸이면 충분합니다. 활성 사용률, 누적 절감 시간, 사내 사례 등록 수, 부서별 편차. 이 지표는 다음 차수 기업 AI 교육 업체 비교와 재계약 판단의 근거로도 그대로 쓰입니다.
AI 활용을 성과평가·승진 기준까지 연결한 기업들
Meta는 AI 활용을 성과평가 항목에 넣었고, JPMorgan과 Duolingo도 채용·평가 기준에 AI 역량을 반영하는 흐름을 만들었습니다. 국내에서도 한컴과 LG CNS가 AX(AI 전환) 역량을 인사 제도와 연결하는 방향으로 움직였습니다(잡코리아, 기업의 AI 활용 성과 평가 동향).
순서를 뒤집으면 실패합니다. 측정 체계 없이 성과평가 KPI부터 만들면 평가할 근거가 없어서 결국 자기신고가 됩니다. 기준선과 대시보드가 먼저 있어야 제도가 붙습니다.
ROI 산식 자체를 더 깊게 잡고 싶다면 AI 도입 ROI 측정 쪽에 기준선 설계까지 정리해두었습니다.
측정하다 흔히 저지르는 실수 5가지, 무엇을 조심해야 하나요?
측정을 시작하면 처음 한 달이 제일 위험합니다. 숫자가 잘 나오기 때문입니다.
첫째, 자기보고 절감 시간을 그대로 ROI에 넣는 경우입니다. “주당 5시간 줄었다”는 응답에는 기대감이 섞여 있어서, 0.7 정도의 할인율을 곱해야 방어 가능한 숫자가 됩니다.
둘째는 측정 피로입니다. 지표를 10개 이상 잡으면 3개월 차에 응답률이 무너집니다. 직무당 2개면 충분합니다.
셋째, 교육 직후 한 번만 재고 끝내는 것. 그 시점의 수치는 학습 흥분이 섞인 착시라서, 4~8주 뒤 재측정이 없으면 정착률을 말할 수 없습니다. 만족도 조사 한계도 여기서 갈립니다.
넷째는 체리피킹입니다. 잘 나온 부서만 골라 보고하면 다음 분기에 반드시 들킵니다. 부서별 편차를 함께 공개하는 리포트가 오히려 신뢰를 얻습니다.
다섯째가 가장 조용하게 무너지는 실수입니다. 한 IT 기업 마케팅팀에서는 잘 쓰는 직원과 못 쓰는 직원의 간극이 생산성 문제가 아니라 위화감이라는 조직 문제로 번졌습니다. AI 활용률 측정 방법을 개인 감시로 쓰는 순간 같은 일이 벌어집니다.
로그는 익명 집계와 팀 단위 리포팅이 원칙입니다. 수집 범위와 고지 방식은 규제산업 AI 도입에서 다룬 개인정보·모니터링 기준을 그대로 적용하면 안전합니다.
자주 묻는 질문
AI 교육 만족도 점수만으로 성과를 보고해도 되나요?
만족도만 보고하면 다음 예산 심사에서 거의 통과되지 않습니다. 만족도는 커크패트릭 1단계인 반응 지표라서, 교육이 즐거웠는지만 알려줄 뿐 업무가 바뀌었는지는 말해주지 않습니다. 최소한 4~8주 뒤에 잰 업무 변화 지표 하나를 붙여야 합니다. 주당 절감 시간이든 재작업 건수든 하나면 충분하고, 반드시 교육 전 기준선 수치와 나란히 놓습니다. “만족도 4.5점”보다 “제안서 초안 작성 3.2시간 → 1.9시간”이 결재선에서 훨씬 멀리 갑니다.
AI 교육 성과는 언제부터 측정해야 하나요?
측정은 교육이 끝난 날이 아니라 교육 2주 전에 시작합니다. 기준선을 먼저 기록해두지 않으면 이후 어떤 숫자가 나와도 “원래 그 정도 아니었나”라는 반박을 막을 수 없습니다. 시점은 네 개로 잡으면 관리가 됩니다. 교육 직후 0~2주는 산출물과 도구 활성 계정, 4~8주는 업무 시간·재작업률 같은 행동 변화, 3~6개월은 동료 전파와 프로세스 반영, 그리고 이 셋을 묶어 재무 환산을 합니다. 자세한 기준선 설계는 AI 도입 ROI 측정 가이드에서 더 깊게 다룹니다.
AI 교육 성과를 정량적으로 어떻게 계산하나요?
기본 공식은 (총 편익 − 총 투자) ÷ 총 투자 × 100입니다. 총 편익은 주당 절감 시간 × 시간당 인건비 × 적용 인원 × 적용 주수에 재작업 감소액을 더해서 구합니다. 30명이 주당 2시간, 시간당 3만 원, 40주를 적용하면 7,200만 원이 나옵니다. 여기서 그대로 보고하면 반박당합니다. 실제 적용률 60%와 자기보고 할인율 0.7을 곱해 약 3,024만 원으로 낮춘 뒤 총 투자로 나누는 편이 안전합니다.
AI 활용도를 인사평가에 반영하는 기업은 어디인가요?
Meta·JPMorgan·Duolingo가 해외 대표 사례이고, 국내에서는 한컴과 LG CNS가 AI 활용을 평가·직무 요건에 연결하는 흐름을 보여줍니다. 다만 순서가 중요합니다. 측정 기준이 합의되지 않은 상태에서 활용률부터 평가에 넣으면, 직원은 성과가 아니라 로그인 횟수를 관리하기 시작합니다. 먼저 직무별 지표 2개를 정하고 익명·팀 단위 집계로 6개월쯤 운영한 뒤 제도에 연결하는 편이 부작용이 적습니다.
직원 수가 적어 대조군을 만들 수 없는데 어떻게 비교하나요?
대조군 없이도 비교는 가능합니다. 첫째, 같은 인원의 교육 전 4주와 후 4주를 시계열로 붙여 봅니다. 둘째, 전원을 한 번에 교육하지 말고 1차·2차로 나누는 웨이브 설계를 씁니다. 1차가 끝난 시점의 2차 인원이 자연스러운 비교군이 됩니다. 셋째, 표본 과제 방식입니다. 같은 유형의 보고서나 응대 건을 정해 교육 전후 소요 시간을 재면, 인원이 적어도 조건이 통제됩니다. 10명 조직에서는 세 번째가 가장 현실적입니다.
마무리
측정은 교육의 마무리가 아니라 교육 전에 시작되는 일입니다.
- 만족도는 반응 지표일 뿐, 기준선 대비 변화 없이는 어떤 숫자도 증명이 되지 않는다
- ROI는 절감 시간을 그대로 넣는 게 아니라 적용률·할인율로 보정한 뒤 보고할 때 살아남는다
- 직무별 지표는 2개까지, 부서별 편차와 미달 항목까지 함께 공개하는 보고가 신뢰를 만든다
지금 당장 할 수 있는 건 하나입니다. 다음 교육 대상 부서에 기준선 설문 8문항을 보내고, 회신 파일을 팀 드라이브에 날짜를 붙여 저장하는 것. 30분이면 끝납니다.
그런데 기준선을 모아놓고도 막히는 지점이 남습니다. 개인의 업무 시간은 줄었는데 조직 성과로 이어지지 않을 때, 그 병목이 지시 설계인지 자산화인지 거버넌스인지 설문 8문항으로는 구분되지 않습니다.
한 IT 기업 마케팅팀에서 정확히 이 장면을 봤습니다. 잘 쓰는 직원과 못 쓰는 직원의 간극이 벌어지자 그건 생산성 문제가 아니라 위화감이라는 조직 문제가 됐습니다. 이럴 때 필요한 건 개인 점수가 아니라 조직의 어느 층이 막혔는지를 보여주는 지도입니다. 직무군별 지표 설계는 직무별 AI 교육 커리큘럼에서, 단계별 목표 설정은 AI 활용 성숙도 5단계에서 이어집니다.
이 글의 자가진단 항목은 증상이 몇 개인지까지만 알려줍니다. 정밀 진단은 200~1,000점 척도의 AMI 점수와 3계층 8차원 차트로 어느 차원이 병목인지 짚고, 그 병목에 맞춘 30/60/90일 로드맵까지 나옵니다. 그림자 AI형인지 열정 개인기형인지 조직 유형 판정도 함께 붙습니다. 교육은 했는데 경영진에 낼 기준선 숫자가 없는 상태라면, 이 리포트가 그 자리를 대신할 수 있습니다. 17문항 5분, 로그인 없이 제출 즉시 웹 리포트로 나오고 이메일을 남기면 같은 리포트를 받아 AI 교육 품의서 작성 시 배경란에 그대로 첨부할 수 있습니다.
교육 전후를 비교할 숫자 만들기 — 8차원 AMI 점수 리포트 5분 무료 진단
이 내용을 우리 회사 상황에 맞춰 이야기하고 싶다면 — 문의를 남겨 주세요. 24시간 안에 대표가 직접 답하고, 문의하신 분께는 전자책 《우리 회사 AI는 왜 2단계에서 멈췄을까》를 무료로 드립니다. 먼저 보고 결정하고 싶다면 다음 무료 라이브 특강을 예약해 두세요. 날짜가 잡히면 가장 먼저 알려드립니다.