AI 전환 전에 데이터부터 정리해야 하는 이유 — 데이터 거버넌스 체크리스트

AI 전환이 막히는 지점은 모델 성능이 아니라 데이터 상태예요. 지표 정의·접근 권한·담당자가 비어 있으면 어떤 모델을 써도 틀린 답이 나옵니다.

AI 전환 TF 첫 회의에서 제일 먼저 깨지는 건 로드맵이 아니라 숫자예요. "작년 B2B 매출이 얼마였죠?" 한 줄에 영업팀, 재무팀, 데이터팀이 서로 다른 세 개의 숫자를 들고 옵니다. 셋 다 틀리지 않았어요. 각자 "매출"을 다르게 세고 있었을 뿐입니다.

그 상태에서 "일단 챗봇부터 붙여보자"가 결론이 되면, 챗봇은 세 숫자 중 하나를 골라 아주 유창하게 말합니다. 어느 걸 골랐는지는 아무도 모릅니다.

한눈 요약

실패 원인을 모델에서 찾으면 안 됩니다. 지표 정의 충돌, 소재·권한 불명, 담당자 공백이 먼저입니다.
데이터 거버넌스는 "누가, 어떤 데이터를, 어떤 정의로, 어디까지"를 문서로 고정하고 지켜지는지 확인하는 운영 체계예요.
미국 NIST의 AI RMF 1.0은 거버넌스(GOVERN)를 마지막 단계가 아니라 나머지 전부를 가로지르는 교차 기능으로 배치했습니다.
전사 정비가 아니라 업무 하나 폭으로 끊으면 속도를 잃지 않습니다.

AI 전환 프로젝트는 왜 실패하나요?

모델 선택이 아니라 데이터와 그걸 관리하는 체계 때문이에요. Gartner는 2018년에 "2022년까지 AI 프로젝트의 85%가 데이터·알고리즘·관리 조직의 편향 때문에 잘못된 결과를 낼 것"이라고 전망했습니다.¹ 예측 시한은 지났어요. 그래도 실패의 범인을 모델이 아니라 데이터와 사람에 둔 진단은 그대로 살아 있습니다.

더 최근 자료도 같은 쪽을 가리켜요. MIT 미디어랩의 NANDA(분산 AI 에이전트 인프라를 연구하는 프로젝트)가 2025년에 낸 『The GenAI Divide: State of AI in Business 2025』는 기업 생성형 AI 파일럿 대다수가 손익에 잡히는 성과를 내지 못했다고 보고하면서, 원인을 모델 성능이 아닌 조직·데이터의 학습 격차로 지목했습니다.² 모델은 2년 사이 몇 배로 좋아졌는데 성과가 안 따라왔어요. 그럼 범인은 모델 바깥에 있습니다.

겉으로 보이는 증상	실제 원인	확인 방법
"AI 답변이 자꾸 틀려요"	부서마다 지표 정의가 다름	같은 질문을 3개 부서에 던져 숫자 비교
"쓸 만한 데이터가 없어요"	데이터는 있는데 소재·권한이 불명	원천 시스템 목록과 계정 보유자 대조
"파일럿은 됐는데 확산이 안 돼요"	담당자 개인 지식에 의존	담당자 부재 시 재현되는지 테스트

데이터 거버넌스란 무엇인가요?

"누가, 어떤 데이터를, 어떤 정의로, 어디까지 쓸 수 있는지"를 정해 문서로 남기고 그 약속이 지켜지는지 확인하는 운영 체계예요. 서버를 깔고 권한을 설정하는 IT 운영과는 결이 다릅니다. IT가 "접근이 기술적으로 가능한가"를 다룬다면, 거버넌스는 "접근해도 되는가, 그 숫자를 공식 숫자로 인정할 것인가"를 다뤄요. 그래서 최종 책임자는 IT 부서장이 아니라 현업을 아는 의사결정자입니다.

미국 NIST가 2023년 1월 발표한 AI 리스크 관리 프레임워크(AI RMF 1.0)는 이 구조를 네 기능으로 정리했어요. MAP(맥락 파악)·MEASURE(측정)·MANAGE(대응) 세 축을 GOVERN(거버넌스)이 가로지르는 형태입니다.³ 네 번째 단계가 아니라 교차 기능이라는 배치가 핵심이에요. 나중에 해도 되는 일이 아니라는 뜻입니다.

규제도 같은 방향입니다. EU AI법(Regulation (EU) 2024/1689) 제10조는 제목 자체가 "데이터 및 데이터 거버넌스"예요. 고위험으로 분류된 AI 시스템의 학습·검증·시험 데이터에 거버넌스 관행을 적용하도록 요구합니다.⁴ 모든 AI에 걸리는 조항은 아니지만, 채용·신용·의료처럼 고위험 목록에 걸리는 영역이라면 데이터 정리는 품질 이슈이기 전에 컴플라이언스 이슈입니다.

보충. 거버넌스를 "통제"로만 번역하면 현업이 등을 돌려요. 실제로 먹히는 설명은 "틀린 숫자 때문에 당신이 깨지는 일을 줄이는 장치"입니다.

우리 회사 데이터가 AI에 준비됐는지 어떻게 판단하나요?

네 가지 임계값으로 끊어서 보세요. 하나라도 통과 못 하면 그 영역엔 아직 AI를 붙이지 않는 게 낫습니다.

점검 영역	통과 임계값	증거 자료
정의 일치	핵심 지표 10개 정의가 한 문서에 있고 부서 간 숫자 차이 0건	지표 정의서 1부
접근 권한	역할 기준 권한 부여, 퇴사·이동 시 계정 회수 7일 이내	권한 변경 로그
출처 추적	보고서 숫자 하나를 원천 시스템까지 2단계 이내로 설명	산출 경로 메모
갱신 이력	데이터마다 최종 갱신 시각 기록, 갱신 주기 문서로 고정	갱신 주기표

체크리스트는 몇 줄이면 충분한가요? — 클래스도산 "데이터 준비도 5문"

다섯 줄이면 됩니다. 200줄짜리 체크리스트는 아무도 안 열어요. 데이터셋 하나를 놓고 회의 중에 순서대로 묻는 다섯 개 질문, 이게 데이터 준비도 5문입니다.

1문. 어디에 있나요. 어느 시스템 어느 테이블인지 한 문장으로 말할 수 있어야 해요. "김 과장 노트북 엑셀"이 답이면 거기서 멈춥니다.

2문. 같은 말이 같은 뜻인가요. "활성 고객"이 마케팅에선 30일, 영업에선 90일 기준이면 AI는 두 답을 번갈아 내놓습니다. 정의 충돌은 모델로 못 고쳐요.

3문. 누가 봐도 되나요. 개인정보가 섞인 데이터를 AI 도구에 넣는 순간 처리 범위가 넓어집니다. 가명처리·비식별 범위를 먼저 정하세요.

4문. 언제 것인가요. 갱신이 반년 멈춘 표를 AI가 현재형으로 읽어주면, 틀린 답이 가장 자신 있게 나옵니다.

5문. 틀리면 누가 고치나요. 이름 붙은 담당자가 없으면 오류는 영원히 "다들 아는 문제"로 남아요. 5문 중 가장 미뤄지고 가장 효과가 큽니다.

데이터부터 정리하면 AI 도입이 늦어지나요?

전체를 정리하고 시작하면 늦어지고, 업무 하나 폭으로 끊으면 늦어지지 않아요. 경영진 설득도 이 구분에서 갈립니다. "전사 데이터 정비"는 승인이 안 나지만 "견적 업무에 쓰이는 데이터 4종만 정리하고 바로 적용"은 납득이 됩니다. 범위와 기한이 붙은 제안이라서요.

접근	먼저 하는 일	터지는 지점
선-도입(데이터 손 안 댐)	툴 계약·연동	답변 신뢰 붕괴 후 재작업, 확산 중단
전사 선-정리	모든 원천 시스템 정비	성과 증명 전에 예산·관심 소진
업무 단위 병행	업무 1개의 데이터만 5문 통과	범위를 못 지키면 전사 정리로 번짐

중소·중견기업도 대기업처럼 해야 하나요?

아니요. 전담 조직도, 거버넌스 솔루션도 없어도 됩니다. 5문을 엑셀 한 장에 적고 데이터셋마다 담당자 이름과 갱신 주기를 채우면 최소 기준은 충족돼요. 작업량은 산식으로 바로 나옵니다. 5문 × 데이터셋 수 — 핵심 업무 데이터가 20종이면 채울 칸이 100개예요. 한 번 앉아서 끝낼 만한 분량입니다.

대기업과 벌어지는 차이는 도구가 아니라 빈도예요. 분기마다 그 표를 열어 "아직 맞나" 확인하는 조직과, 만들고 덮어둔 조직의 1년 뒤는 완전히 다릅니다.

거버넌스 없이 툴부터 넣으면 무슨 일이 생기나요?

세 가지가 순서대로 옵니다. 먼저 권한 사고예요. 전사 검색형 도구는 공유 설정이 느슨한 폴더를 성실하게 찾아내서, 인사 평가 자료를 엉뚱한 사람 화면에 띄웁니다. 다음은 신뢰 붕괴입니다. 틀린 답을 두세 번 본 현업은 도구를 조용히 안 써요. 마지막은 되돌리기 비용이에요. AI가 만든 문서가 사내에 퍼진 뒤 원본 숫자를 고치면, 어디까지 퍼졌는지 추적하는 일이 정리 작업보다 오래 걸립니다.

이번 주에 뭘 하면 되나요?

5문 중 1문과 5문, 즉 "어디에 있나요"와 "누가 고치나요"만 적어보세요. 데이터셋 이름 옆에 시스템 이름 하나, 사람 이름 하나. 그 두 칸이 채워지면 나머지 세 칸은 훨씬 빨리 굴러갑니다. AI 전환에서 가장 비싼 실수는 모델을 잘못 고르는 게 아니라, 정리되지 않은 데이터 위에 자신 있게 말하는 도구를 얹는 거예요. 🙂

클래스도산은 비개발자·실무자를 대상으로 클로드 바이브 코딩 원데이 클래스(5시간, 결과물 1개 완성)를 운영하고, 기업 AI 교육으로 확장하고 있어요. 데이터 준비도 5문을 팀 워크숍으로 돌려보고 싶다면 classdosan.com으로 문의하세요.

자주 묻는 질문

Q. 데이터 거버넌스와 IT 부서 업무는 어떻게 다른가요? A. IT는 접근이 기술적으로 가능한지를, 거버넌스는 접근해도 되는지와 그 숫자를 공식 숫자로 인정할지를 정합니다. 그래서 책임자는 현업 의사결정자가 맡는 쪽이 맞아요. NIST AI RMF 1.0도 거버넌스를 특정 단계가 아닌 교차 기능으로 배치했습니다.

Q. 사내 문서를 AI 도구에 통째로 연동해도 되나요? A. 공유 권한 점검 전에는 안 됩니다. 전사 검색형 도구는 느슨하게 열린 폴더까지 찾아내요. 역할 기준 권한 부여와 퇴사·이동 계정 회수 7일 이내 기준을 먼저 맞추고, 개인정보가 섞인 데이터는 가명처리 범위를 정한 뒤 연동하세요.

Q. 최소한 어디서부터 시작하면 되나요? A. 핵심 지표 10개의 정의를 한 문서에 모으고, 데이터셋마다 담당자 이름과 갱신 주기를 적는 것부터요. 솔루션 도입은 그다음입니다.

Q. 경영진이 "속도가 생명"이라고 합니다. 어떻게 설득하죠? A. 전사 정비가 아니라 업무 한 개 폭으로 제안하세요. "견적 업무 데이터 4종만 5문 통과시키고 즉시 적용"처럼 범위가 박히면 속도 논리와 충돌하지 않습니다.

출처

Gartner 보도자료(2018-02-13) — "2022년까지 AI 프로젝트의 85%가 데이터·알고리즘·관리 조직의 편향으로 잘못된 결과를 낼 것"이라는 예측. https://www.gartner.com/en/newsroom/press-releases/2018-02-13-gartner-says-nearly-half-of-cios-are-planning-to-deploy-artificial-intelligence ↩
MIT 미디어랩 NANDA, 『The GenAI Divide: State of AI in Business 2025』(2025) — 기업 생성형 AI 파일럿의 성과 부진 원인을 모델 성능이 아닌 조직·데이터의 학습 격차로 분석. https://www.media.mit.edu/projects/nanda/ ↩
NIST, 『Artificial Intelligence Risk Management Framework (AI RMF 1.0)』, NIST AI 100-1(2023년 1월) — GOVERN·MAP·MEASURE·MANAGE 중 GOVERN을 교차 기능으로 배치. https://www.nist.gov/itl/ai-risk-management-framework ↩
Regulation (EU) 2024/1689 (EU AI Act) 제10조 "Data and data governance" — 고위험 AI 시스템의 학습·검증·시험 데이터에 대한 거버넌스 요구. https://eur-lex.europa.eu/eli/reg/2024/1689/oj ↩

AI 전환 전에 데이터부터 정리해야 하는 이유 — 데이터 거버넌스 체크리스트