AI 활용 성숙도 5단계 완전 정복: 우리 조직은 지금 몇 단계이고, 다음 분기에 무엇을 해야 하나

핵심 요약

• AI 활용 성숙도는 ‘도구를 몇 개 도입했는가’로 판정되지 않습니다. 데이터 접근권, 조직 구조, 거버넌스, 성과 측정이 함께 올라갔는지가 기준입니다.
• IBM·AWS·Databricks·Microsoft·CI-CMM 모델은 단계 수와 명칭만 다릅니다. 실험 → 표준화 → 확산 → 내재화라는 뼈대는 사실상 동일합니다.
• 많은 국내 조직이 2단계(개인 실험)에서 멈춥니다. 병목은 기술이 아니라 데이터 접근 권한, 성공의 정의, 확산을 담당할 주체의 부재입니다.
• 레벨별 KPI(운영 중인 파일럿 수, 주간 활성 사용률, 거버넌스 통제 항목 수, ROI%)를 먼저 정의하면 로드맵은 그 뒤에 자동으로 따라옵니다.

“우리 회사도 AI 쓰고 있습니다. 근데 잘 쓰고 있는 건지는 모르겠어요.” 기업 교육 담당자와 첫 미팅에서 가장 많이 듣는 말입니다. 라이선스는 200개 결제했고, 사내 공지도 두 번 돌렸고, 워크숍도 한 차례 했습니다. 그런데 AI 활용 성숙도를 물으면 대답할 근거가 없습니다. 숫자로 잡힌 게 없기 때문입니다.

문제는 진단 도구가 없어서가 아닙니다. 오히려 너무 많습니다. IBM은 5단계, AWS는 별도 레벨 체계, Databricks는 거버넌스 중심 매트릭스, Microsoft는 에이전틱 AI 기준 모델을 각각 내놓았습니다. 단계 이름도, 축도, 전제 조건도 다릅니다. 그래서 셋을 읽고 나면 “우리는 3단계쯤인 것 같다”는 감상만 남습니다. 다음 분기에 무엇을 할지는 여전히 비어 있습니다.

이 글은 그 틈을 메우려고 썼습니다. IBM 생성형 AI 성숙도 모델, AWS Prescriptive Guidance, Databricks AI 거버넌스 성숙도 모델, Microsoft 에이전틱 AI 성숙도 모델, 그리고 소프트웨어 공학의 CI-CMM(역량 성숙도 모델)을 한 표에 놓고 겹치는 축과 어긋나는 축을 분리했습니다. 거기서 뽑아낸 통합 5단계 프레임에 자가진단 문항, 레벨별 정량 KPI, 단계별 실패 안티패턴, 90일·6개월 실행 템플릿을 붙였습니다.

끝까지 읽으면 우리 조직의 레벨을 점수로 채점하고, 그 레벨에 맞는 교육·조직·거버넌스·KPI를 골라 12개월 로드맵 초안까지 그릴 수 있습니다. 다만 초안은 초안입니다. 예산 확보, 부서 저항, 교육 후 미사용은 로드맵을 그린 다음에 시작되는 일이고, 그 각각을 어디서 이어 붙일지는 본문에서 하위 문서로 안내하겠습니다.

AI 활용 성숙도란 정확히 무엇을 말하는 건가요?

AI 활용 성숙도는 조직이 AI를 반복 가능하고 측정 가능하게 활용하는 정도를 뜻합니다. 핵심은 ‘반복’과 ‘측정’입니다. 한 사람이 잘 쓰는 것은 실력이고, 그 방식이 문서화돼 다음 사람도 같은 결과를 내는 것이 성숙도입니다.

이 개념의 뿌리는 소프트웨어 공학의 역량 성숙도 모델(CI-CMM)입니다. 프로세스를 초기·관리·정의·정량관리·최적화 단계로 나눠 조직 역량을 등급화한 그 틀이, 생성형 AI 시대에 데이터와 모델과 사람을 함께 다루는 형태로 재해석됐습니다. AI 성숙도 모델이 왜 필요한지에 대해서는 역량 성숙도 모델을 AI에 적용해야 하는 이유를 정리한 글이 배경을 짧게 짚어줍니다.

AI 성숙도 모델의 5가지 평가 축

벤더마다 이름은 다르지만, 실무에서 쓸 만한 축은 다섯 개로 수렴합니다. 첫째 전략(경영진 스폰서십, 우선순위 업무 정의), 둘째 데이터(품질, 접근권한, 리니지), 셋째 기술·플랫폼(LLM 접근 방식, 사내 검색·RAG 인프라), 넷째 조직역량(교육, 챔피언, 직무별 숙련도), 다섯째 거버넌스(승인 절차, 로그, 리스크 대응)입니다.

다섯 축은 함께 올라가지 않습니다. 기술은 4단계인데 거버넌스는 1단계인 조직, 거버넌스만 과하게 앞서 현업이 도구를 못 쓰는 조직이 훨씬 흔합니다. 그래서 성숙도는 총점보다 축별 분포를 봐야 합니다.

‘AI 도입률’과 ‘AI 활용 성숙도’가 다른 이유

많은 보고서가 라이선스 구매 수, 계정 발급 수, 사내 교육 수료율을 성과로 씁니다. 이 지표들은 오르기 쉽고 떨어지지 않아서 매력적이지만, 조직 준비도를 거의 설명하지 못합니다. 계정 500개를 발급했는데 월 1회 이상 사용자가 60명이면, 그 조직의 실질 레벨은 개인 실험 단계입니다.

생성형 AI 도입 성숙도는 전통 AI 성숙도와 측정 대상도 다릅니다. 예측 모델 시대에는 데이터 파이프라인과 모델 정확도가 성숙도의 중심이었습니다. 지금은 업무 프로세스에 프롬프트와 산출물 검증이 얼마나 박혀 있는지가 중심입니다. 모델은 외부에서 빌려오고, 조직이 만들어야 하는 것은 사용 방식과 통제 장치입니다.

1단계부터 5단계까지, 각 레벨은 실제로 어떤 모습인가요?

IBM, AWS, Databricks, Microsoft가 각자 성숙도 단계를 제시하지만 단계 수와 명칭이 조금씩 다릅니다. IBM의 생성형 AI 도입 성숙도 모델은 5단계로, AWS Prescriptive Guidance의 성숙도 수준은 탐색에서 변혁까지의 흐름으로, Databricks의 AI 거버넌스 성숙도 모델은 통제 관점에서 단계를 나눕니다. 아래 표는 이들과 Microsoft 에이전틱 AI 성숙도 모델의 조직·문화 기준을 실무용으로 통합해 재구성한 것입니다.

레벨 1~5 통합 정의표

레벨	전형적 장면	데이터·승인	대표 산출물	참고 정량 지표(추정)
L1 인식·무질서	일부 직원이 개인 계정으로 몰래 사용. 회사 공식 입장 없음	사내 데이터 미연동, 승인 주체 없음	없음(비공식 노하우)	공식 파일럿 0건, 거버넌스 통제 0~1개
L2 개인 실험	업무용 계정 발급, 잘 쓰는 사람 몇 명이 부서의 사실상 창구	문서 복사·붙여넣기, 팀장 구두 승인	파일럿 프로젝트 문서 1~3건	월간 실사용률 10~20%, KPI 미정의
L3 부서 표준화	특정 부서가 업무별 프롬프트를 공유 문서로 관리	부서 데이터 일부 정리, 부서장 승인 규칙 존재	프롬프트 라이브러리, 업무 지시서 템플릿	표준화 업무 3~10개, 시간 절감 측정 시작
L4 전사 확산	여러 부서가 같은 플랫폼을 쓰고 CoE가 요청을 접수·배분	사내 문서 기반 RAG 운영, RACI 매트릭스로 승인 명시	사내 RAG 검색, 직무별 교육 커리큘럼, 모델 레지스트리	정례 예산 편성, 통제 항목 10개 이상, ROI 산식 보고
L5 내재화·에이전틱	사람이 승인하고 AI 에이전트가 다단계 업무를 수행	데이터 리니지 추적, 위험등급별 자동 승인/차단	AI 에이전트 워크플로, 위험관리 체계(NIST·ISO 정합)	업무 단위 자동화 비율, 사고·회수 지표 상시 모니터링

L3과 L4를 가르는 결정적 기준은 도구가 아닙니다. 재현 가능성과 예산의 정례화입니다. 담당자가 바뀌어도 같은 품질이 나오고, 다음 해 예산안에 AI 항목이 고정 라인으로 잡혀 있으면 L4입니다. 매년 남는 예산으로 교육을 붙이고 있다면 여전히 L3입니다. 이 구간에서 기업 AI 교육 비용을 인당 단가와 환급 기준으로 정리해두는 작업이 실제로 예산 정례화를 앞당깁니다.

레벨을 잘못 자평하는 흔한 착시

‘우리는 4단계’라고 답하는 조직에서 반복되는 신호가 세 가지 있습니다. 첫째, 사용자 수는 많은데 월간 재사용률을 아무도 모릅니다. 둘째, AI 확장(스케일링)을 도구 라이선스 확대와 동일시합니다. 셋째, 성과가 특정 팀 한두 명에게 몰려 있고 그 사람이 휴가를 가면 산출물이 멈춥니다.

개인 실험과 전사 활용의 간극이 성숙도 판정의 핵심이라는 점은 전사 활용과 개인 실험의 차이를 다룬 분석에서도 같은 결로 지적됩니다. 도구 보급률이 아니라 ‘사람이 빠져도 돌아가는가’를 물어야 레벨이 정직하게 나옵니다.

우리 조직의 AI 성숙도, 어떻게 직접 진단하나요?

정밀 진단 전에 10문항으로 위치를 잡는 편이 빠릅니다. 각 문항을 0점(전혀 아니다)~4점(문서로 증빙 가능하다)으로 채점하고, 근거 문서를 댈 수 없으면 2점을 넘기지 않는 규칙을 두십시오.

5분 만에 해보는 10문항 간이 체크리스트

• 전략 1. AI로 개선할 상위 3개 업무가 문서에 이름으로 적혀 있습니까?
• 전략 2. 경영진 중 이 과제의 책임자가 지정돼 있습니까?
• 데이터 1. AI가 참조할 사내 문서의 최신본 위치와 권한이 정리돼 있습니까?
• 데이터 2. 반출 금지 데이터의 등급 기준이 존재합니까?(데이터 거버넌스)
• 도구 1. 회사가 공식 승인한 AI 도구 목록이 있습니까?
• 도구 2. 지난달 월 1회 이상 실사용자 비율을 숫자로 말할 수 있습니까?
• 교육 1. 직무별로 다른 커리큘럼이 설계돼 있습니까?
• 교육 2. 교육 후 산출물(업무 지시서, 프롬프트 등)이 축적되고 있습니까?
• 거버넌스 1. AI 산출물의 검토·승인 책임이 RACI로 명시돼 있습니까?
• 거버넌스 2. 오류·유출 발생 시 신고와 회수 절차가 있습니까?

점수 구간별 레벨 판정과 해석

총점(40점 만점)	판정 레벨	다음 90일의 초점
0~8점	L1	공식 도구 승인과 금지 데이터 기준 먼저
9~18점	L2	우선 업무 3개 선정, 파일럿 프로젝트 문서화
19~28점	L3	프롬프트 라이브러리 이관, 예산 정례화
29~35점	L4	CoE 운영 규칙과 사내 RAG 품질 관리
36점 이상	L5 근접	에이전트 권한 설계와 위험 모니터링

단 총점보다 중요한 원칙이 있습니다. 가장 낮은 축이 실질 레벨을 결정합니다. 전략·도구가 4점인데 데이터가 1점이면 그 조직은 L4가 아니라 데이터 병목에 걸린 L2입니다. 물통의 물은 가장 낮은 판자 높이까지만 찹니다.

지난 몇 년간 40곳 이상의 기업·기관·대학에서 AI 활용 교육을 진행하며 가장 자주 본 장면은, 같은 문항에 IT팀은 3점을 주고 현업은 1점을 주는 상황이었습니다. IT는 ‘기능이 있다’로 읽고 현업은 ‘쓸 수 있다’로 읽기 때문입니다. 그래서 저는 생성형 AI 역량 인증(APEX Essential)의 6대 역량 프레임을 조직 차원의 3계층 8차원 진단으로 확장해, IT·현업·경영진 세 집단에게 따로 응답을 받고 격차 자체를 지표로 봅니다. 격차가 2점 이상 벌어진 축이 대개 다음 분기에 사고가 나는 지점입니다.

여기까지 하면 우리 조직의 대략적 위치와 병목 축 하나를 특정할 수 있습니다. 남는 것은 그 병목을 누가 언제 어떤 예산으로 걷어내느냐입니다. 축별 세부 진단이 필요하면 30문항 자가진단 버전으로 이어 확인하시고, 진단 결과를 실행 계획으로 옮기는 순서는 기업 AI 교육 도입 8단계 로드맵에서, 경영진 설득 문구는 AI 교육 품의서 작성법에서 가져다 쓰시면 됩니다.

여기까지는 해당하는 항목이 몇 개인지 세는 단계이고, 그 다음 질문인 “어느 축이 막혀 있고 90일간 무엇을 할지”는 답이 나오지 않습니다. 채점표를 앞에 두고 다음 분기 계획을 잡아야 하는 상황이라면, 200~1,000점 AMI 점수와 병목 차원의 30/60/90일 로드맵까지 나오는 17문항 진단으로 위치를 확정하는 편이 빠릅니다.

IBM·AWS·Microsoft·Databricks 모델, 우리 회사엔 뭐가 맞을까요?

성숙도 모델을 검색하면 벤더마다 단계 수가 다릅니다. 어떤 곳은 4단계, 어떤 곳은 5단계, Microsoft는 100~500이라는 숫자 코드를 씁니다. 단계 수가 다른 이유는 각 모델이 서로 다른 축을 중심에 놓기 때문입니다.

5개 프레임워크 한눈에 비교표

모델	단계 수	강조 축	적합한 조직	주의점
IBM 생성형 AI 성숙도 모델	5단계	도입·확산 속도, 유스케이스 발굴	생성형 AI를 빠르게 넓히려는 대기업	IBM 아키텍처 패턴이 전제로 깔림
AWS Prescriptive Guidance 성숙도 모델	4단계	클라우드 인프라와 워크로드 운영	AWS 기반으로 데이터·모델을 운영 중인 조직	자사 서비스 로드맵과 결합
Databricks AI 거버넌스 성숙도 모델	거버넌스 매트릭스형	데이터 리니지, 모델 레지스트리, 통제	금융·의료 등 규제 산업	활용 확산 지표는 상대적으로 약함
Microsoft 에이전틱 AI 성숙도 모델	100~500	조직·문화 준비도, AI 에이전트 운영	에이전트 기반 업무 재설계를 준비하는 조직	Copilot 생태계 전제
CI-CMM(역량 성숙도 모델)	5단계	프로세스 반복 가능성·정량 관리	제조·SI 등 프로세스 문화가 강한 조직	생성형 AI 특유의 데이터 이슈는 별도 보완 필요

표를 세로로 읽으면 성격이 갈립니다. Databricks와 CI-CMM은 통제와 반복 가능성에 무게를 두고, IBM과 Microsoft는 활용 확산에 무게를 둡니다. AWS는 그 중간에서 워크로드 운영을 기준으로 삼습니다. IBM의 5단계 프레임워크 설명과 AWS Prescriptive Guidance의 수준 정의를 나란히 읽어보면 같은 ‘3단계’라는 말이 서로 다른 상태를 가리킨다는 점이 바로 보입니다.

우리 회사 상황별 추천 모델

클라우드 벤더가 만든 모델에는 자사 제품 로드맵이 깔려 있습니다. 이건 흠이 아니라 전제입니다. 상위 레벨의 조건이 특정 플랫폼 기능과 겹친다면, 그 항목은 진단에서 빼거나 ‘우리 환경의 동등 기능’으로 바꿔 읽어야 합니다.

선택 기준은 단순합니다. 개인정보·의료정보처럼 유출 시 손실이 큰 데이터를 다룬다면 Databricks AI 거버넌스 성숙도 모델이나 NIST AI 위험관리 프레임워크 계열을 뼈대로 삼고, 확산 속도가 급한 조직은 IBM이나 Microsoft 에이전틱 AI 성숙도 모델의 조직·문화 항목을 기준선으로 잡는 편이 낫습니다.

둘을 섞어 쓸 때는 단계 번호를 억지로 맞추지 말고, 앞서 정리한 5개 축(전략·데이터·기술·조직역량·거버넌스)에 각 모델의 문항을 재배치하세요. 예를 들어 Databricks의 데이터 리니지·모델 레지스트리 항목은 ‘데이터’와 ‘거버넌스’에, Microsoft의 조직 준비도 항목은 ‘조직역량’에 붙입니다. 모델별 문항 매핑표와 실제 채점 예시는 IBM·AWS·Microsoft AI 성숙도 모델 비교 글에서 따로 다룹니다.

왜 개인 실험이 전사 활용으로 이어지지 않을까요?

2단계에 오래 머무는 조직에는 공통점이 있습니다. 잘 쓰는 사람은 분명히 있는데, 그 사람이 휴가를 가면 아무 일도 일어나지 않습니다. 개인의 요령이 조직의 자산으로 옮겨 가지 못한 상태입니다.

확산을 막는 3가지 병목

첫째, 데이터 접근권과 사내 지식 연결의 부재입니다. 범용 LLM은 우리 회사의 계약서 양식도, 작년 캠페인 결과도 모릅니다. 사내 문서를 붙이는 RAG 구조가 없으면 AI는 계속 ‘그럴듯한 일반론 생성기’에 머뭅니다. 이 단계에서 현업이 느끼는 감정은 실망이 아니라 무관심입니다.

둘째, 성공의 정의가 없습니다. 파일럿 프로젝트를 돌렸는데 무엇이 얼마나 나아졌는지 아무도 측정하지 않으면, 예산 시즌에 그 파일럿은 근거 없이 사라집니다. 보고서 초안 작성 시간이 90분에서 35분으로 줄었다는 식의 전후 비교 한 줄이 있어야 다음 분기 예산이 붙습니다.

셋째, 확산을 책임지는 주체가 없습니다. 파일럿은 있는데 주인이 없는 상태입니다. RACI 매트릭스에서 A(최종 책임)에 이름 한 명이 적혀 있지 않으면, 확산은 모두의 부업이 되고 결국 아무의 일도 아니게 됩니다. 전사 활용과 개인 실험의 차이를 다룬 논의에서도 이 격차가 반복해서 지적됩니다.

여기서 가장 흔한 착각이 ‘전사 라이선스 배포 = 확산’입니다. 계정 5,000개를 열어도 주간 활성 사용자가 300명이라면 그 조직의 실질 레벨은 2단계입니다. 배포는 입구이지 결과가 아닙니다.

레벨별 안티패턴 회피표

레벨	반복되는 안티패턴	회피 액션	확인 지표
L1 인식	보안 우려로 전면 차단만 하고 대안 없음	허용 도구·금지 데이터 목록을 1장으로 공지	공식 사용 가이드 문서 유무
L2 개인 실험	잘 쓰는 소수의 노하우가 공유되지 않음	부서별 프롬프트 3건씩 수집해 공용 문서화	재사용된 프롬프트 수
L3 부서 표준화	부서마다 다른 도구·다른 규칙으로 파편화	CoE가 표준 도구와 검수 기준 통일	표준 준수 부서 비율
L4 전사 확산	통제 규정이 뒤늦게 붙어 활용이 위축됨	승인 절차를 위험 등급별 3단계로 차등화	고위험 건 심사 소요일
L5 내재화	에이전트 오작동의 책임 주체가 불명확	에이전트별 담당자·롤백 절차 사전 지정	사고 대응 평균 시간

표에서 L4 행을 눈여겨보시기 바랍니다. 확산이 빨라질수록 리더십 스폰서십과 거버넌스가 동시에 필요해지고, 이 둘의 균형이 깨지면 성숙도는 오히려 뒷걸음칩니다. 병목별 진단 질문과 돌파 순서는 개인 실험에서 전사 활용으로: AI 확산이 멈추는 3가지 병목에서 더 깊게 다룹니다.

성숙도 단계가 다르면 임직원 AI 교육도 달라져야 하나요?

같은 회사 안에서도 마케팅팀은 3단계, 생산관리팀은 1단계인 경우가 흔합니다. 이 상태에서 전 직원 대상 2시간짜리 동일 커리큘럼을 돌리면, 앞선 사람은 지루해하고 뒤처진 사람은 따라오지 못합니다. 레벨 편차를 무시한 일괄 교육이 실패하는 구조입니다.

레벨별 교육 목표와 대상 매핑

L1~L2에서는 인식 개선과 안전한 사용 원칙이 먼저입니다. 어떤 데이터를 넣으면 안 되는지, 환각을 어떻게 걸러내는지, 프롬프트의 기본 구조는 무엇인지가 핵심입니다. 이 단계에서 고급 자동화를 가르치면 대부분 현장에 남지 않습니다.

L3에서는 직무별 유스케이스 워크숍으로 바뀝니다. 영업은 제안서, 인사는 직무기술서처럼 각자 실제 업무 파일을 들고 와야 합니다. 이때 나온 결과물을 사내 프롬프트 라이브러리로 축적하는 것이 교육의 진짜 산출물입니다.

L4~L5에서는 대상이 갈립니다. 실무 리더에게는 사내 데이터 연결과 AI 에이전트 워크플로 설계를, 부서별 AI 챔피언에게는 동료를 코칭하는 방법을, 경영진에게는 어디에 예산을 넣고 어디서 멈출지 판단하는 의사결정 교육을 배정합니다.

지난 몇 년간 40곳 이상의 기업·기관·대학에서 생성형 AI 교육을 진행하면서 가장 자주 본 장면은, 수료율 100%를 보고했는데 한 달 뒤 실제 사용자는 손에 꼽히는 상황이었습니다. 그래서 저는 참가자 전원이 자기 업무 기준으로 ‘AI 업무 지시서’ 1건을 완성해 나가는 방식으로 운영합니다. 교육이 끝난 자리에 재사용 가능한 문서가 남아야 조직의 자산이 되기 때문입니다.

교육 효과를 성숙도 지표로 연결하는 법

교육 KPI를 수료율로 잡으면 성숙도와 연결되지 않습니다. 교육 후 4주 시점의 주간 활성 사용률, 라이브러리에 등록된 재사용 자산 수, 해당 업무의 처리 시간 변화, 이 세 가지를 기본 지표로 잡으시길 권합니다. 예산 승인 논리로 쓰려면 AI 교육 품의서 작성법에서 정리한 5개 항목과 기업 AI 교육 비용 시뮬레이션 자료를 함께 붙이면 설득력이 올라갑니다.

진단·설계·품의·효과 측정까지의 전체 흐름은 기업 AI 교육 도입 8단계 로드맵에 정리해 두었고, 레벨별 커리큘럼 시수와 대상자 배분표는 성숙도 단계별 임직원 AI 교육 설계법에서 따로 다룹니다. 여기까지 정리하면 ‘누구에게 무엇을 가르칠지’는 잡힙니다. 남는 문제는 교육이 끝난 뒤 4주간 누가 활용을 챙기느냐이고, 이건 커리큘럼이 아니라 CoE와 챔피언 조직의 몫입니다.

AI를 확산시키는 조직은 어떻게 구성해야 하나요?

파일럿이 3단계에서 멈추는 조직에는 공통점이 하나 있습니다. 확산을 자기 KPI로 가진 사람이 없다는 것입니다. 도구는 IT가, 성과는 현업이, 리스크는 법무가 나눠 가지면서 아무도 전체를 책임지지 않습니다. 이 공백을 메우는 최소 장치가 AI CoE(Center of Excellence)입니다.

3명으로 시작하는 AI CoE 최소 구성

CoE에 필요한 기능은 네 가지입니다. 사용 표준을 정하고, 프롬프트·워크플로 같은 자산을 관리하고, 새 유스케이스를 심사하고, 현업 확산을 지원하는 일입니다. 전담 10명이 아니어도 됩니다. 겸직 3인 체제로도 이 네 기능은 굴러갑니다.

• CoE 리드: 우선순위 결정, 경영진 보고, 예산 방어. 임원 스폰서와 직접 연결되어야 합니다.
• 기술 담당: 도구 계정·보안 설정, 사내 RAG나 자동화 연결, 로그 기반 사용 데이터 수집.
• 현업 브릿지: 실제 업무 맥락을 아는 사람. 유스케이스를 발굴하고 챔피언을 모집합니다.

여기서 흔한 실수는 CoE가 모든 유스케이스를 직접 만들려 하는 것입니다. CoE는 3~5개 표준 사례만 직접 만들고, 나머지는 각 부서의 AI 챔피언이 복제하게 해야 확산 속도가 붙습니다. 챔피언은 부서당 1~2명, 주 2시간 정도의 공식 할당 시간을 받는 것이 현실적입니다. 리더십 스폰서십이 없으면 이 2시간이 가장 먼저 사라집니다.

RACI로 정리하는 역할과 책임

역할 갈등은 대개 세 지점에서 터집니다. 유스케이스를 누가 승인하는가, 데이터를 누가 검증하는가, 운영 중 문제를 누가 책임지는가입니다. RACI 매트릭스로 한 장에 못 박아두면 회의 시간이 눈에 띄게 줄어듭니다.

활동	CoE 리드	기술 담당	현업 팀장	법무·보안	임원 스폰서
유스케이스 승인	A(최종책임)	C(자문)	R(실행)	C	I(공유)
데이터 접근·검증	C	R	C	A	I
프롬프트·자산 등록	A	R	R	I	—
모델·에이전트 운영	C	A/R	I	C	I
성과 측정·보고	R	C	C	I	A
예산 배정	R	I	C	I	A

성숙도가 올라가면 CoE의 성격도 바뀝니다. L2~L3에서는 심사와 통제 비중이 높지만, L4 이후에는 템플릿·API·교육 자산을 제공하는 플랫폼 조직으로 옮겨가야 합니다. 계속 관문 역할만 하면 CoE 자체가 병목이 됩니다. CoE 설계와 챔피언 모집 기준은 별도 글에서 더 구체적으로 다룹니다.

거버넌스가 활용을 죽이지 않게 하려면 어디까지 통제해야 하나요?

AI 거버넌스 성숙도는 대체로 다섯 단계를 밟습니다. ① 사내 공지로 특정 도구 사용을 금지하는 단계, ② 허용·금지 사례를 담은 사용 가이드를 배포하는 단계, ③ 유스케이스별 승인 프로세스를 운영하는 단계, ④ DLP·프롬프트 필터·접근권한으로 자동 통제하는 단계, ⑤ 출력 품질과 리스크를 지속 모니터링하는 단계입니다. Databricks가 정리한 AI 거버넌스 성숙도 모델도 통제의 자동화 정도를 핵심 축으로 삼습니다.

데이터 리니지와 모델 레지스트리는 보통 ③ 후반에서 ④ 사이에 등장합니다. 사내 RAG로 실제 문서를 붙이기 시작하면 “이 답변이 어느 문서에서 왔는가”를 추적해야 하고, LLM을 여러 개 쓰기 시작하면 버전·프롬프트·평가 결과를 등록해둘 곳이 필요해집니다. 이 자산이 없는 상태에서 AI 에이전트를 도입하면 문제가 터졌을 때 원인 규명이 불가능합니다.

거버넌스 성숙도 5단계 요약

단계를 건너뛰려는 조직이 많습니다. 사용 가이드도 없이 승인 위원회를 먼저 만들면, 위원회는 판단 기준 없이 회의만 반복합니다. 순서대로 가는 편이 빠릅니다. 특히 ②단계의 사용 가이드는 A4 2~3장으로 충분하고, 금지 목록보다 허용 사례를 먼저 쓰는 것이 활용률에 유리합니다.

EU AI Act·NIST·ISO, 무엇부터 볼까

세 프레임워크는 역할이 다릅니다. EU AI Act는 용도별 위험 등급을 나누는 규제이므로, EU 시장에 서비스하거나 채용·신용평가처럼 고위험으로 분류될 수 있는 업무가 있는지부터 확인합니다. NIST AI 위험관리 프레임워크는 내부 리스크 관리 절차를 설계할 때 쓰는 실무 지침에 가깝습니다. ISO 계열은 인증·감사에 대응할 때 문서 체계를 맞추는 용도입니다.

국내 기업이라면 현실적 출발점은 개인정보와 영업비밀입니다. 고객 실명·연락처·건강정보의 외부 도구 입력 금지, 미공개 재무·계약 정보의 취급 규칙, 이 두 줄이 실제 사고의 대부분을 막습니다. 저는 존슨앤드존슨 북아시아 마케팅 총괄로 일하며 글로벌 헬스케어 기업의 디지털 가이드라인 수립을 주도했는데, 규제 산업에서도 실효성 있게 지켜지는 규칙은 결국 실무자가 외울 수 있는 몇 줄이었습니다. 100페이지 규정집은 대체로 읽히지 않습니다.

과잉 통제의 신호는 두 가지 숫자로 잡힙니다. 유스케이스 승인 대기 시간이 2주를 넘기면 현업은 기다리지 않고, 개인 계정으로 몰래 쓰는 섀도우 AI가 늘어납니다. 통제 항목을 늘리기 전에 승인 리드타임과 비인가 도구 사용 신고 건수를 먼저 보시길 권합니다. 단계별 통제 항목 설계는 거버넌스 성숙도 5단계를 다룬 후속 글에서 상세히 정리합니다.

성숙도가 올랐다는 걸 어떤 숫자로 증명하나요?

3단계에서 예산이 끊기는 조직의 공통 패턴은 단순합니다. 파일럿은 했는데 무엇이 나아졌는지 숫자로 답하지 못하는 것입니다. 결재하는 쪽에 30년 가까이 있으면서 확인한 것은, 반려 사유가 대개 “효과 불명확” 한 줄이라는 점입니다. 성숙도 모델이 필요한 이유를 다룬 논의들이 측정 체계를 함께 강조하는 것도 같은 맥락입니다.

레벨별 정량 KPI 예시표

아래 수치는 절대 기준이 아니라, 목표 설정을 위한 참고 범위입니다. 조직 규모와 업종에 따라 달라지므로 추정 벤치마크로 보시기 바랍니다.

구분	L1 인식	L2 개인 실험	L3 부서 표준화	L4 전사 확산	L5 내재화
진행 파일럿 수	0~1	2~5(비공식)	3~8(문서화)	10+ / 분기	상시 파이프라인
주간 활성 사용률	측정 불가	5% 미만	대상 부서 30~50%	전사 50~70%	70% 이상
재사용 자산 수	0	개인 보관	프롬프트 20~50건	100건+ / RAG 운영	에이전트 워크플로
거버넌스 통제 항목	금지 공지 1건	가이드 1종	승인 절차 3~5개	자동 통제 10개+	상시 모니터링
자동화 처리 비중	0%	0%	단위 업무 일부	대상 프로세스 20~40%	40% 이상
ROI 산출	불가	체감 수준	업무별 시간 절감	부서 원가·리드타임	사업 지표 연동

ROI 계산 공식과 함정

기본 골격은 (절감 시간 × 인건비 단가 × 보수 계수 − 총투입비용) ÷ 총투입비용입니다. 함정은 보수 계수를 빼먹는 데 있습니다. 설문으로 받은 절감 시간은 과대 보고되기 쉬우므로 0.5~0.7 정도를 곱해 보고하는 편이 경영진 신뢰를 지킵니다. 절감된 시간이 실제로 다른 가치 있는 업무로 갔는지도 함께 확인해야 합니다.

선행지표와 후행지표를 섞지 마세요. 사용률과 재사용 자산 수는 3개월 내 움직이는 선행지표이고, 원가와 리드타임은 6~12개월 뒤 나오는 후행지표입니다. 경영진 보고용 한 장 대시보드에는 활성 사용률, 재사용 자산 수, 대표 유스케이스 3건의 전후 비교, 리스크 건수, 누적 투입비용 이렇게 다섯 블록만 담으면 대화가 됩니다. 계산식과 항목 정의는 AI 교육 품의서 작성법과 기업 AI 교육 비용 산정 방법에서 예시 문구까지 확인할 수 있고, 진단부터 효과 측정까지의 전체 흐름은 기업 AI 교육 도입 8단계 로드맵에 정리해두었습니다.

여기까지 하면 “우리 조직이 몇 단계이고, 다음 분기에 어떤 숫자를 올릴 것인가”를 한 장으로 말할 수 있습니다. 남는 과제는 그다음입니다. 사용률이 3개월째 정체될 때 무엇을 손볼지, 그때 필요한 판단은 단계별 KPI 계산을 다룬 후속 글에서 이어가겠습니다.

다음 12개월, 분기별로 무엇부터 하면 되나요?

레벨을 확인했다면 다음 질문은 하나입니다. “그래서 이번 분기에 뭘 하면 되나요?” 아래는 L2에서 L3, L3에서 L4로 올라가는 조직이 공통으로 밟는 순서를 12개월 단위로 재구성한 AI 로드맵입니다. 순서를 바꾸면 대체로 Q3에서 막힙니다.

1~2분기: 진단·기준선·첫 90일 스프린트

1. Q1 (1~3개월) — 진단과 기준선 확정. 간이 자가진단을 IT·현업·경영진 세 그룹으로 나눠 실시하고, 가장 낮은 축을 기준선 레벨로 확정합니다. 동시에 기준선 KPI를 3개만 고정합니다(주간 활성 사용률, 재사용 자산 수, 처리 리드타임). 유스케이스 백로그는 부서별 2건씩 모아 20~30건 규모로 시작하고, 영향도×실행난이도로 정렬합니다. 마지막으로 CoE를 리드 1명·기술 1명·현업 브릿지 1명, 3인으로 발족합니다. 정식 조직이 아니어도 좋고, 겸직 40% 배분으로도 출발할 수 있습니다.
2. Q2 (4~6개월) — 90일 스프린트로 표준화. 백로그 상단에서 유스케이스 2~3개만 골라 90일 안에 “누가 해도 같은 결과가 나오는” 상태까지 끌고 갑니다. 산출물은 업무 지시서, 검증 기준, 예외 처리 규칙 세 가지입니다. 같은 분기에 사용 가이드와 승인 프로세스를 최소 버전으로 배포합니다. AWS Prescriptive Guidance의 성숙도 수준 정의도 이 시점의 반복 가능성을 상위 단계 진입 조건으로 봅니다.

3~4분기: 확산·거버넌스 자동화·내재화

3. Q3 (7~9개월) — 확산과 자산 축적. 직무별 교육을 레벨에 맞춰 분리 운영하고, 부서마다 챔피언 1명을 지정해 네트워크를 가동합니다. 프롬프트 라이브러리와 사내 RAG 같은 재사용 자산을 쌓는 분기이며, 여기서 AI 확장(스케일링)의 속도가 결정됩니다. 교육 설계와 품의 절차는 기업 AI 교육 도입 8단계 로드맵을 그대로 붙여 쓰면 중복 작업이 줄어듭니다.
4. Q4 (10~12개월) — 검증과 다음 해 설계. 기준선 대비 KPI 변화를 검증하고, 승인 프로세스 일부를 자동 통제로 전환합니다. 모델 라이프사이클 관리(레지스트리·리니지)를 어디까지 도입할지 결정하고, 다음 해 예산과 에이전틱 AI 검토안을 함께 올립니다. 예산 근거가 약하면 AI 교육 품의서 작성법의 항목 구조를 참고하세요.

조직 규모별로 일정은 조정합니다. 200명 미만이면 Q1과 Q2를 합쳐 6개월 안에 스프린트까지 끝내는 편이 현실적입니다. 200명 이상이면 Q1 진단만 6~8주를 잡고, 사업부 단위로 Q2를 시차 실행합니다. 분기별 상세 체크리스트와 산출물 양식은 ’12개월 AI 성숙도 로드맵: 분기별로 무엇을 해야 하나’에서 별도로 다룹니다. 이 12개월을 돌리면 AI 도입 로드맵 수립의 뼈대는 서지만, 실제 정착 여부는 다음 해 예산이 통과되는지에 달려 있습니다.

성숙도가 오히려 떨어진 것 같다면 무엇을 봐야 하나요?

성숙도 하락의 4가지 조기 신호

성숙도는 계단처럼 오르지 않습니다. 후퇴는 보통 네 가지 지표에서 먼저 보입니다. 주간 활성 사용률이 2~3개월 연속 감소하고, 부서 챔피언이 이탈하거나 겸직 부담으로 손을 놓습니다. 등록된 유스케이스는 늘지만 재사용 횟수가 정체하고, 승인 절차를 우회하는 섀도우 AI 사용 문의가 늘어납니다.

구조적으로 후퇴가 잦은 시점도 있습니다. 도구를 교체하면 축적된 프롬프트 자산이 한 번 무효화되고, 조직 개편으로 CoE 보고선이 바뀌면 승인 주체가 사라집니다. 규제가 강화되는 국면에서는 통제 항목이 늘면서 활용이 일시적으로 위축됩니다. Databricks의 AI 거버넌스 성숙도 모델이 평가와 로드맵을 한 세트로 묶는 이유도 여기에 있습니다.

재도약을 위한 리셋 순서

정체기에 예산을 먼저 늘리면 대체로 같은 자리를 다시 돕니다. 순서는 세 가지 점검이 먼저입니다. 첫째, 상위 3개 유스케이스가 지금도 재현되는지. 둘째, 승인 대기 시간이 며칠로 늘어났는지. 셋째, 사용 중단자 10명에게 이유를 직접 물었는지. 세 가지 답이 나온 뒤에야 도구·교육·예산 중 무엇이 병목인지 갈립니다. 인당 단가와 환급 조건은 기업 AI 교육 비용 시뮬레이션에서 확인하는 편이 빠릅니다.

40곳 이상의 기업과 기관에서 AI 활용 교육을 진행하며 가장 자주 본 재도약 신호는 단순했습니다. 현업에서 먼저 “이 업무도 되나요?”라는 요청이 들어오기 시작하고, 기존 자산의 재사용률이 반등하는 것입니다. 이 두 신호가 함께 오면 조직 문화 변화가 실제로 시작된 국면입니다. 이런 변화를 놓치지 않으려면 성숙도 측정 주기를 반기에서 분기로 줄이는 편이 좋습니다. AI KPI를 분기로 끊어 보면 하락을 6개월 늦게 발견하는 일이 줄어듭니다. 진단 문항과 정체기 판별 기준은 ‘AI 성숙도가 오히려 떨어졌다면: 정체기 진단과 재도약 신호 읽기’에서 이어 다룹니다.

자주 묻는 질문

AI 성숙도 모델이란 정확히 무엇인가요?

조직의 AI 활용 수준을 전략·데이터·기술/플랫폼·조직역량·거버넌스라는 축으로 단계화해 진단하는 프레임워크입니다. 뿌리는 소프트웨어 개발 역량을 다섯 단계로 나눈 CI-CMM(역량 성숙도 모델)에 있고, 생성형 AI 시대에 들어와 활용 확산과 리스크 통제 축이 추가되며 재해석됐습니다. IBM의 생성형 AI 도입 성숙도 모델처럼 벤더마다 단계 수와 강조점이 다르므로, 모델을 고를 때는 단계 이름이 아니라 어떤 축을 중심에 두는지를 먼저 보셔야 합니다.

우리 회사는 지금 AI 성숙도 몇 단계인가요?

앞서 제시한 간이 10문항을 0~4점으로 채점한 총점으로 대략의 위치를 잡고, 그다음 ‘가장 낮은 축’을 실질 레벨로 확정하시면 됩니다. 총점 평균이 3점대라도 거버넌스 축이 1점이면 그 조직의 실질 레벨은 2단계에 가깝습니다. 통제가 없는 상태에서는 확산이 언제든 중단될 수 있기 때문입니다. 채점은 IT·현업·경영진이 각각 따로 매긴 뒤 편차를 확인하세요. 세 집단의 점수 차이가 1점 이상 벌어진 축이 대개 진짜 병목입니다.

AI 도입 프로젝트가 정체되는 가장 큰 원인은 무엇인가요?

기술이 아니라 조직 설계입니다. 실무에서 반복적으로 확인되는 병목은 세 가지입니다. 첫째, 사내 지식과 데이터에 접근할 권한이 없어 RAG 같은 연결이 막히는 경우. 둘째, 무엇이 성공인지 정의하지 않아 파일럿 성과를 아무도 증명하지 못하는 경우. 셋째, 확산을 책임지는 주체가 없어 파일럿만 쌓이는 경우입니다. 개인 실험과 전사 활용의 차이를 다룬 분석도 같은 지점을 지적합니다. 라이선스를 더 사는 것으로는 해결되지 않습니다.

생성형 AI 성숙도 모델과 전통 AI 성숙도 모델은 어떻게 다른가요?

전통 AI 성숙도는 모델 개발·운영 역량을 중심에 두지만, 생성형 AI 성숙도는 전 직원의 활용 폭과 재사용 자산을 중심에 둡니다. 예측 모델 시대에는 데이터 사이언스 조직의 파이프라인 성숙도가 핵심이었습니다. 반면 LLM 기반 환경에서는 프롬프트 라이브러리, 사내 RAG, AI 에이전트 워크플로 같은 자산이 얼마나 축적·재사용되는지가 레벨을 가릅니다. 리스크의 성격도 다릅니다. 정확도 저하가 아니라 환각, 저작권, 영업비밀 유출 같은 콘텐츠 리스크가 주된 관리 대상입니다.

AI 거버넌스 성숙도를 높이려면 어떤 규제부터 봐야 하나요?

국내 개인정보보호 규정과 사내 영업비밀 정책을 기본 바닥으로 깔고, 그 위에 NIST AI 위험관리 프레임워크로 관리 체계를 잡는 순서를 권합니다. NIST AI RMF는 법적 강제성이 아니라 위험 식별·측정·관리의 구조를 제공하기 때문에 규모와 무관하게 적용하기 쉽습니다. 해외 사업이나 EU 고객 데이터를 다룬다면 EU AI Act의 고위험 분류 여부를 별도로 검토하고, 인증이 필요하면 ISO 계열을 얹으시면 됩니다. Databricks의 AI 거버넌스 성숙도 모델은 데이터 리니지와 모델 레지스트리가 어느 시점에 필요해지는지를 단계별로 보여줍니다.

마무리

• 레벨은 평균이 아니라 최저 축이 결정합니다. 도구는 갖췄는데 거버넌스가 비어 있으면 그 조직은 아직 L2입니다.
• L3에서 L4로 넘어가는 기준은 재현 가능성과 예산의 정례화입니다. 파일럿 개수가 아니라, 같은 방식으로 다른 팀이 따라 할 수 있는지를 보세요.
• 측정하지 않으면 3단계에서 예산을 잃습니다. 선행지표(활성 사용률·재사용 자산 수)와 후행지표(리드타임·원가)를 분리해 기준선부터 찍어두셔야 합니다.

지금 당장 하실 수 있는 첫 행동은 하나입니다. 이번 주 안에 IT 담당자 1명, 현업 팀장 2명, 경영진 1명을 모아 본문의 간이 10문항을 각자 따로 채점하게 하고, 축별 점수 편차가 가장 큰 항목 하나를 적어두세요. 30분짜리 회의로 충분하고, 그 한 줄이 다음 분기 로드맵의 출발점이 됩니다.

다만 여기까지 하면 ‘우리 조직이 어디쯤인지’는 감이 잡히지만, ‘그래서 다음 90일에 무엇을 먼저 손대야 하는지’는 여전히 남습니다. 실제로 40곳 이상의 기업·기관에서 AI 활용 교육을 진행하며 가장 자주 본 장면도 이 지점이었습니다. 진단 결과를 들고 온 담당자가 “문제는 알겠는데 무엇부터 결재를 올려야 할지 모르겠다”고 말하는 순간입니다. 병목을 알아도 그것을 예산과 일정이 붙은 문장으로 바꾸는 일은 별개의 작업입니다. 그 단계는 기업 AI 교육 도입 8단계 로드맵과 경영진을 설득하는 AI 교육 품의서 작성법에서 이어서 다룹니다. 예산 규모를 먼저 잡아야 한다면 기업 AI 교육 비용과 국비 환급 활용법을 참고하세요.

본문의 자가진단 체크리스트는 ‘몇 개가 해당되는지’, 즉 증상의 개수까지만 알려줍니다. 점수와 병목 위치, 그리고 90일 실행 순서까지 필요하다면 정밀 진단 쪽이 맞습니다. 진단을 돌리면 200~1,000점 척도의 AMI 점수와 5단계 레벨 판정, 3계층 8차원(문제 정의·지시 설계·검증과 신뢰 / 도구 활용 폭·업무 통합·자산화와 공유 / 보안과 거버넌스·리더십과 전략) 점수 차트가 나오고, 가장 낮은 차원에 맞춘 30/60/90일 로드맵과 ‘그림자 AI형·정체 표류형’ 같은 조직 유형 판정이 함께 붙습니다. 직무를 고르면 문항 시나리오가 그 직무 업무로 치환되고, 결과는 카톡 공유 카드로 팀장이나 임원에게 링크째 넘길 수 있습니다. 자가진단은 해봤는데 그 결과를 품의서에 붙일 근거로 쓰기엔 부족하다고 느끼시는 상태라면 지금이 적기입니다. 17문항 5분 진단 — AMI 점수와 8차원 병목, 90일 로드맵이 담긴 리포트 받기 (무료·로그인 불필요, 제출 즉시 웹 리포트로 확인하시고 이메일을 남기시면 같은 리포트를 메일로도 보내드립니다.)