거대한 코끼리를 춤추게 하라 - 거대 조직은 어떻게 AI를 받아들이는가

프롤로그
한국 공공 AX의 출발점 - AI는 마법 지팡이가 아니다
이 책의 사용 설명서
이 책의 무대는 14만 명 규모의 조직, 경찰청이다. 다룬 시기는 18개월. 그 안에서 우리가 부딪힌 결정의 갈림길을 17개로 추렸다. 비슷한 결의 책이 없는 건 아니다. IBM을 살린 거스너의 회고록, 인텔 운영의 정석을 적은 앤디 그로브, 스타트업의 한복판에서 쓴 호로위츠의 책. 다만 한국 공공 부문에서 같은 결로 쓰인 책은 아직 본 적이 없다.

거스너 IBM과의 차별화
이 책의 제목이 루이스 거스너의 『코끼리를 춤추게 하라』와 같은 메타포를 쓴 건 의도적이다. 거대 조직이 시대의 전환점에서 자기 체질을 바꾸는 일의 보편성을 표시하고 싶었다. 다만 거스너의 책과 이 책 사이에는 세 가지 결정적인 차이가 있다.
첫째, 무대가 다르다. 거스너의 IBM은 민간 영리 기업이었다. 이 책의 무대는 14만 명짜리 공공 위계 조직이다. 작동 원리가 다르다. 이윤이 아니라 공공 가치, CEO 결재가 아니라 법률과 예산 심의가 일을 움직인다.
둘째, 시기가 다르다. 거스너 책은 1990~2000년대, 인터넷과 서비스화로 대표되는 디지털 전환 시기의 기록이다. 이 책은 2024~2026년, 의사결정의 자동화로 대표되는 AI 전환 시기의 기록이다. 다루는 기술의 본질이 다르다.
셋째, 역할이 다르다. 거스너는 외부에서 영입된 CEO였다. 위에서 아래로 변화를 누를 수 있는 자리에 있었다. 나는 그 자리에 없다. 나는 위계 한가운데 있는 정책 설계자로서, 옆으로 설득하고 아래로 협상하며 변화를 이식해야 했다. ‘외부 CEO가 위에서 누른다’는 모델로는 풀리지 않는 한국 공공 조직의 특수성이 이 책의 핵심 변수다.
정리하면 이렇다. 거스너의 책이 ‘민간, 디지털 전환, 위에서 아래’의 기록이라면, 이 책은 ‘공공, AI 전환, 안에서 옆으로’의 기록이다. 같은 메타포를 빌렸지만, 다른 산업과 다른 시기와 다른 역할에 대한 다른 보고서다.

[케이스 매핑][매핑] 17개 케이스 → 5개 원칙. 본문 각 챕터 끝에는 [Decision Point/Mechanism/Principle/Beyond the Stage] 분석 박스가 있고, 부록에는 적용 체크리스트와 도구함이 수록되어 있다.
[빨리 읽고 싶다면][싶다면] 각 챕터 도입부의 짧은 핵심 문장과 에필로그의 다섯 원칙만 봐도 책의 뼈대는 잡힌다. [내 조직에 옮겨 보고 싶다면] 부록 체크리스트의 ‘민간 조직 적용 시’ 가이드부터 펼치고, 거기서 본문으로 거꾸로 들어가는 게 빠르다. [처음부터 끝까지 읽고 싶다면] 그냥 순서대로. 17개 결정이 누적되며 만드는 결이 보인다.
[고백 한 가지] 나는 경찰청에서 AI 정책을 짜는 자리에 있고, 책에 적힌 17개 결정의 자리마다 직접 서 있었다. 그래서 본문은 ‘나’로 적었다. 다만 챕터 끝의 분석 박스만큼은 나의 회고가 아니라 한 발 떨어져서 본 일반화다. 회고와 일반화를 같은 무게로 읽지 말아 달라.

그 회의실 밖에서 일어나고 있던 일을 먼저 적어 두어야겠다. 한국의 보이스피싱 피해액은 2024년 8,545억 원으로 역대 최고를 기록했고, 2025년에는 사상 처음으로 1조 원을 넘어섰다(1조 2,578억 원, 경찰청 · 금융감독원 통합 집계, 2025). 딥페이크 성범죄 영상물에 대한 방송통신심의위원회의 시정 요구는 2021년 1,913건에서 2024년 23,107건으로 12배 늘었다. 누군가의 휴대폰에서는 자녀의 목소리로 합성된 음성이 흘러나오고, 누군가의 PC에서는 다크웹의 알고리즘이 새로운 사기 시나리오를 자동 생성하고 있었다. 우리가 회의실 안에서 ‘누가 책임지나’를 두고 눈치를 보는 동안, 적들은 이미 같은 도구를 손에 쥐고 진화하고 있었다.
회의실 공기가 무거웠다. 참석자들의 시선은 자기 앞 종이 위만 맴돌았다. 아무도 먼저 손을 들지 않았다. 책임 소재를 조율해야 하는 자리였고, 그 조율이 쉽지 않다는 걸 다들 알고 있었다.
테이블 한가운데에는 열 장 남짓한 보고서 하나가 덩그러니 놓여 있었다. 표지에는 굵은 명조체로 「치안 AI 혁신 추진 계획」이라는 거창한 제목이 적혀 있었다. 시대의 화두인 인공지능을 치안 현장에 도입하여 대한민국 경찰의 미래를 혁신하겠다는, 야심 찬 청사진. 문제는 그 화려한 청사진을 ‘누가 직접 그릴 것인가’였다.

“AI가 중요하다는 건 다들 동의하시지 않습니까. 하지만 우리 부서는 지금 맡은 업무를 처리하기에도 인력이 부족한 상황이라…”
“저희는 AI 전문가가 아닙니다. 이런 업무는 전문 지식이 있는 부서에서 맡는 게 더 좋을 것 같습니다.”
이유는 제각각이었지만 결론은 하나였다. 아무도 이 미지(未知)의 기술을 책임지고 싶어 하지 않았다. 기획안을 최초로 올렸던 부서조차, 실행 단계에서 책임 소재가 거론되자 신중한 태도로 돌아섰다. ‘필요성’에는 고개를 끄덕이면서도, 정작 ‘실무’를 맡으라 하니 부담이 밀려온다.

그들의 공포에는 분명한 이유가 있었다. 14만 명짜리 조직, 그중에서도 국민의 생명과 안전을 책임지는 경찰은 ‘무결성’과 ‘적법성’을 산소처럼 들이마시며 산다. 정해진 매뉴얼대로 한 치의 오차 없이 움직여야 하는 시스템에서 자란 사람들에게, 확률로 움직이고 때로는 환각(Hallucination — AI가 사실이 아닌 내용을 그럴듯하게 지어 내는 현상)까지 일으키는 AI는 통제하기 어려운 존재에 가까웠다. 혁신이라는 이름으로 포장되어 있지만, 만에 하나 이 시스템이 잘못된 판단을 내리거나 예산만 삼킨 채 실패로 흘러간다면 그 책임은 온전히 실무 부서장에게 돌아올 터였다. 그것은 단순한 업무 기피가 아니다. 낯선 변화에 본능적으로 저항하며 검증된 방식을 지키려는 조직의 방어 본능 — 조직행동론에서는 이를 ‘건강한 관성(Healthy Inertia)’이라 부른다.

누구도 선뜻 손을 내밀지 않으려 눈치만 보는 이 무거운 공기는 단지 경찰청 회의실에만 머물지 않는다. 분기 마감과 당장의 매출에 쫓기는 영업 본부, 낡은 전산망 유지보수만으로도 허덕이는 IT 부서, 그리고 검증되지 않은 외부 AI 서비스 도입이 가져올 보안 유출을 우려하는 기업 컴플라이언스 팀의 회의실 풍경도 이와 딱 맞는다. 낯선 변화에 본능적으로 저항하며 기존의 방식을 지키려는 방어 본능은, 이윤과 생존을 다투는 민간 기업에서도 동일하게 나타나는 ‘건강한 관성’이다.

그렇게 주인을 찾지 못한 계획서는 몇 달째 부서와 부서 사이를 표류하고 있었다. 조직의 눈치 게임이 길어지던 2025년 3월, 지휘부가 결단을 내렸다. 표류하던 계획을 추진할 사람으로 나를 지목하며 자리 이동을 명했다. 모두가 피하고 싶어 했던 이 과제가 내게 맡겨진 데에는 나름의 이유가 있었다.
2016년부터 2022년까지, 나는 대한민국 경찰 역사상 주요한 패러다임 전환 중 하나였던 ‘자치경찰제도’의 도입과 법제화 실무를 총괄했다. 세상에 없던 새로운 제도와 법을 처음부터 설계하고, 수십 년 묵은 관료제에 뿌리내리도록 조율한 6년이었다. 제도를 조직에 뿌리내리게 하는 것은 기술을 도입하는 것과 본질적으로 같은 일이다 — 어느 쪽이든 결국 사람을 설득하고, 관성을 조율해야 한다. 지휘부는 AI라는 낯선 기술을 뿌리내리게 하는 이번 작업에도 그 ‘조직 이식의 노하우’가 필요했던 것은 아닐까? 어차피 벌어진 일, 긍정적으로 생각하기로 했다.

지휘부의 이 판단 덕분에 논의는 비로소 다음 단계로 넘어갈 수 있었다.
하지만 내 자리로 돌아와 서류철의 첫 장을 넘겼을 때, 나는 막막해졌다. 기안 일자, ‘2024년 11월’. 부서 간 조율이 이어지는 동안, 4개월이 지나 있었다. 바깥세상에서는 하루가 다르게 새로운 AI 기술이 지각 변동을 일으키고 있는데, 우리의 AI 시계는 지난겨울에 멈춰 있었다.
숫자를 들여다보니 상황은 더 심각했다. 2025년 기준, 경찰청이 운용하는 정보화 시스템은 수십 개. 그 안에 축적된 데이터는 수십 테라바이트에 달했지만, AI 학습에 즉시 투입할 수 있도록 정제된 데이터세트는 사실상 전무했다. 다시 말해 수십 개의 시스템이 각자의 방언으로 중얼대고 있을 뿐, AI가 알아들을 수 있는 공통어로 번역된 것은 아무것도 없었다는 뜻이다.

AI 모델을 돌리는 데 필수적인 GPU(그래픽 처리 장치) 카드는 경찰청 전체를 통틀어 몇 장 없었다. 네이버나 카카오 같은 민간 빅테크 기업의 AI 연구소가 수천 장의 GPU를 풀가동하며 글로벌 경쟁에 뛰어들고 있다는 사실과 비교하면, 이것은 ‘AI 인프라’라 부르기조차 민망한 수준이었다.
마이크로소프트의 사티아 나델라 CEO가 2025년 한국 방문 강연(Microsoft Build)에서 던졌던 한마디를 떠올렸다. “우리가 AI를 쓰지 않으면, 범죄자들이 AI를 쓰기 시작할 것이다.” 그것은 비유가 아니라 이미 벌어지고 있는 현실이었다. 인간의 얼굴을 훔치는 딥페이크, 국경을 넘나드는 보이스피싱, 다크웹 마약 거래 — 범죄자들은 이미 알고리즘을 무기로 갖고 있었다. 수사관들은 수천 시간 분량의 CCTV 영상과 테라바이트 단위의 포렌식 데이터를 제한된 도구만으로 대응해야 하는 비대칭 전쟁의 한복판에 놓여 있었다. 경찰에게 AI는 유행이 아니라, 국가 치안 시스템의 붕괴를 막기 위한 가장 강력한 비대칭 전력이자 ‘생존의 문제’였다.

조급함은 커졌지만, 시중의 경영서를 아무리 뒤져 봐도 치안 현장에 맞는 AI 매뉴얼은 어디에도 없었다. 지시가 없는 현장에 던져진 경찰관이 할 수 있는 일은 직접 발로 뛰는 것 하나뿐이다. 나는 무작정 밖으로 나갔다. 퇴근 후에는 AI 기술 스터디를 병행했고, 낮에는 서울시청, 경기도청, 국방부, 과학기술정보통신부, 한국지능정보사회진흥원(NIA) 등 AI 유관 기관의 문을 두드렸다. 공문으로 충분한 설명을 하고 적당한 명분을 찾는 정석적인 절차를 거칠 여유는 없었다. 무작정 담당 부서에 전화를 하고 양해를 구한 후 직접 사무실을 찾아갔다. 이 당시 수집한 인사이트는 기술의 조각들을 ‘경찰의 언어’로 번역해 내는 귀중한 자양분이 됐다.

처음 TF에 배정된 인원은 나와 함께 일하던 동료 두 명과 AI 기획안 초안을 묵묵히 다듬어 온 베테랑 실무자 한 명이었다.
나를 포함해 단 4명. 예산도, 인프라도 부족한 상태에서 조직 전체의 인공지능 대전환(AX, AI Transformation — 조직의 업무 방식과 의사결정 구조를 AI 중심으로 재설계하는 것)을 책임져야 하는 TF의 출발이었다. 우리는 테이블에 마주 앉았다.
“일단 한번 부딪혀 봅시다. 대한민국 모든 공공기관이 사실상 처음 시작하는 업무니까, 다 같은 처지 아니겠습니까.”

하지만 드라마나 영화 속 혁신처럼, 하룻밤 사이 극적인 결단으로 세상이 뒤집히지는 않는다. 관료제 속에서 혁신은 철저히 ‘문서’로 시작해 ‘문서’로 끝나는 행정 실무의 연속이다.
우리는 두 달 동안 밤낮없이 보고서와 씨름했다. “AI가 유행이니 도입하자”는 감성적 주장으로는 단 한 사람도 설득할 수 없었다. 우리가 필요로 했던 것은 냉정한 팩트였다. 대한민국 경찰은 260개의 경찰서와 2,050개의 지구대 · 파출소에서 24시간 365일 박동한다. 한 해 쏟아지는 112 긴급 신고만 천만 건 이상, 온 · 오프라인 경찰 민원은 3억 7천만 건에 달한다(2024년 기준, 「모두의 경찰관」 공모 안내서). 지금까지 이 거대한 파도를 현장 경찰관들의 야근과 육체적 헌신이라는 둑으로 막아왔지만, 그 둑은 이미 인지적 · 물리적 한계치에 도달해 있었다.

2025년 5월, 객관화 작업을 거친 끝에 우리는 마침내 「치안 AI 혁신 추진 계획」을 공식 발표했다. 팩트와 수치로 구성된 이 보고서는 조직의 공감대를 이끌어 내는 데 성공했고, 지휘부의 승인하에 ‘AI융합계’ 직원 3명을 추가 선발할 수 있었다. 기획을 담당하는 AI정책계와 실무 융합을 담당하는 AI융합계, 총 7명의 완전체가 꾸려진다.
이 책은 영웅담이 아니다. 14만 명짜리 조직이 AI를 받아들이는 18개월 동안 부딪힌 17개 결정의 갈림길을, 그 자리에 있던 사람의 시선으로 적은 기록이다. 성공한 결정과 실패한 결정이 섞여 있고, 그 사이에 어떤 조직 메커니즘이 움직였는지를 가능한 한 솔직히 풀었다. 부록에는 17개 케이스에서 뽑아낸 다섯 가지 원칙과, 독자가 자기 조직에 옮겨 적용할 수 있는 체크리스트, 그리고 실무 도구함을 묶었다.

이 책의 무대는 경찰청이지만, 적용 대상은 경찰에 한정되지 않는다. 112 긴급 출동은 기업의 최접점 고객 서비스(CS) 클레임 대응과 같고, 수사 부서의 적법성 원칙은 금융 · 의료의 컴플라이언스 의무와 닮았다. 14만 명의 위계 조직의 관성은 대기업 부서 이기주의와 레거시 시스템의 한계와 정확히 겹친다. 표면의 단어를 자기 조직으로 한 번씩 옮겨 적어 두면, 17개 케이스 가운데 일곱 개쯤은 그대로 통한다. 권말 부록 C의 빈칸이 자기 조직의 답안으로 채워지는 순간, 이 책의 가장 큰 효용이 시작된다.

완벽한 지도는 없었다. 거대한 코끼리를 춤추게 할 첫발은 그렇게 시작됐다.