AI 혁신, 선언은 쉽다… 그러나 왜 회의실을 못 넘을까?

지난해 말 국내 중견 제조기업 임원 워크숍에 제조업의 AI 전환(AX)에 대한 강의. 키워드는 ‘챗GPT’였다. 개발·생산·영업·인사 부서 할 것 없이 “이제 우리도 뭔가 해야 하지 않겠느냐”는 공감대가 형성됐다.

그런데 구체적인 실행 순서를 묻는 순간 묘한 공기가 흘렀다.

“파일럿 프로젝트부터?” “데이터 거버넌스를 먼저 구축해야 하나?” 회의는 이내 ‘닭이 먼저냐 달걀이 먼저냐’ 식 논쟁으로 흘렀다. 결국 담당 임원은 “다음 달에 다시 논의하자”며 마무리했다. 하루 종일 열띤 토론이 이어졌지만, 결국 ‘첫 단추’를 꿰지 못한 채 마무리됐다.

이 장면은 요즘 한국 기업들이 마주한 현실을 적나라하게 보여준다. 모두 “AI를 도입하지 않으면 뒤처진다”는 위기감이다. 하지만 실제 하려다 보면 정작 어디서부터 시작할지 막막해 한다. 사내 개발팀은 API 문서를 얘기하고, 현업 부서는 시작 전부터 투자대비 성과(ROI)를 따지며, 보안팀은 데이터 보안과 규제 리스크를 언급한다.

이런 상황에서 “최신 AI 기술을 신속히 사내에 도입하겠다”는 선언은 대개 회의실 벽을 넘지 못한다. 실무자들은 회의실에서 나오며 “또 하나의 전시성 프로젝트 아니겠느냐”며 고개를 갸웃거린다.

지난 10년 동안 사내외 디지털 전환(DX, Digital Transformation)과 AI 전환(AX, AI Transformation)을 직접 실행하면서 내린 결론은 명확하다. 모든 구성원이 공유할 수 있는 하나의 ‘혁신 지도’가 필요하다는 것이다.

이 지도는 완벽한 매뉴얼 이라기보다 우선 ‘회사가 지금 어디쯤 서 있는지’ 확인하고 다음 스텝으로 넘어가려면 ‘무엇이 부족한지’ 가늠하게 하는 기준점이다. 이를 5가지 스텝으로 정리했다.

처음 AI를 도입한 조직이 겪는 가장 큰 난관은 기술이 아니라 ‘마인드셋(마음의 벽)’이다.

IT 부서가 준비한 교육 자료를 현업에게 넘기면 끝날 것 같지만 현실은 정반대다. 주니어 사원들은 “잘못 쓰면 혼나는 것 아니냐”고 두려워한다. 시니어 매니저는 “괜히 쓰다가 성과가 떨어지면 어쩌나”라며 뒷걸음질 친다. 이를 깨는 가장 빠른 방법은 ‘작은 성공 경험’이다.

서울의 한 소비재 기업은 사내 ‘AI 체험 주간’을 열었다. 참가자는 누구나 두 시간짜리 워크숍에서 자신이 평소 가장 싫어하는 업무 하나를 골랐다. 어떤 이는 분량 많은 계약서를 요약하는 일을, 어떤 이는 영어 뉴스레터를 번역하는 일을 택했다. 워크숍의 목적은 간단했다. “생성형 AI를 활용해 그 업무 시간을 절반 이하로 줄여 보라”는 숙제였다.

결과는 어떻게 됐을까? 75%의 참가자가 30분 이상 걸리던 일을 10분 안에 마쳤다. 성과도 컸지만 더 큰 수확은 심리적 장벽의 해소였다. 한 참가자는 “AI가 내 일을 빼앗을까 봐 겁났는데, 막상 써 보니 내 시간을 돌려주는 도구라는 걸 깨달았다”고 말했다.

이 단계에서 빠뜨리기 쉬운 두 가지가 있다. 하나는 프롬프트 엔지니어링 교육, 다른 하나는 ‘두 줄 규칙’이라고 불리는 최소한의 보안·윤리 지침이다.

프롬프트 엔지니어링은 “AI에게 무엇을 어떻게 요청해야 원하는 답을 얻는가”를 체계화한 기술이다.

“마케팅 보고서 작성”처럼 추상적인 지시보다 “B2B 고객 대상, 600자, 비즈니스 톤, 행동 권고 포함”처럼 구체적으로 요청할 때 결과 품질이 확연히 좋아진다. 사내 위키에 ‘성공 프롬프트’와 ‘실패 프롬프트’를 쌍으로 올려두면 학습 효과가 극대화된다.

두 줄 규칙은 그 이상도 이하도 필요 없다. “개인·기밀 정보는 원문 그대로 입력하지 않는다”, “AI가 만든 결과물은 반드시 담당자가 검수한다.” 이 두 줄만 조직에 깊숙이 각인해도 초기 사고의 80%는 막을 수 있다. 규칙이 단순해야 전사적으로 전파된다.

생성형 AI 체험이 조직 곳곳에 퍼지면 다음 질문이 튀어나온다. “왜 회사 내부 자료는 AI가 못 읽죠?” 보고서, 사규, 업무 매뉴얼, DB… 진짜 중요한 정보는 결국 사내에 숨어 있다.

이때 필요한 개념이 RAG(Retrieval-Augmented Generation)다. 쉽게 말해 AI가 답변을 만들기 전에 내부 문서를 검색해 근거를 함께 넣도록 돕는 방식이다. “지난 3년간 A 프로젝트의 핵심 리스크를 요약해 줘”라고 물으면 AI가 과거 보고서를 찾아 근거와 함께 정리해 주는 식이다.

RAG를 제대로 쓰려면 문서 품질부터 챙겨야 한다. 실제로 기업의 파일 서버를 열어 보면 '최신본·최종본·진짜최종본'이라는 이름의 문서가 뒤섞여 있다. AI는 무엇이 최신인지 알 수 없다.

한 에너지 업체는 RAG 도입 전 ‘문서 정리 스프린트’를 진행했다. 10년 묵은 보고서 4만여 건을 메타데이터·버전 관리 기준에 따라 재정리했다.

스프린트 기간 동안 직원들은 “AI 도입은 둘째 치고, 문서 구조를 손보니 검색만으로 업무 속도가 배가 됐다”고 말했다. 데이터 정비는 늘 지루해 보이지만, AI의 성공 가능성을 좌우하는 숨은 변수다.

RAG와 궁합이 맞는 기술이 '지능형 RPA'다. 전통적인 RPA는 사용자가 정한 규칙을 따라 웹페이지를 클릭하고 데이터를 긁어오는 ‘자동화 로봇’이다. 하지만 문제는 규칙이 조금만 벗어나도 멈춘다는 점이다. 생성AI를 결합하면 로봇이 끌어온 데이터를 실시간으로 요약·번역·분류하는 ‘똑똑한 로봇’이 된다. 예를 들어, 매일 새벽 CNN·BBC·로이터 사이트를 돌며 ‘AI, 반도체, 공급망’ 키워드를 포함한 기사를 수집하고, AI가 이를 3문단으로 요약한 뒤 번역해 임원 메일함에 놓는다. 담당자는 커피 한 잔을 들고 출근하자마자 세계 동향을 파악한다.

여기서부터는 보안·거버넌스가 더 예민해진다. HR 기밀 문서를 검색 대상에 넣을지, 영업 직원이 재무 자료를 열람할 수 있게 할지, 권한 체계를 다시 설계해야 한다. 신뢰를 얻기 위해서는 “AI가 잘못된 정보를 가져오면 어떻게 할 것인가”를 명문화하고 검증용 샘플 시나리오를 돌려 에러율을 측정해야 한다. 두 번째 걸음은 기술·데이터·규정 삼박자를 동시에 조율하는 ‘전사적 대청소’ 단계이기도 하다.

보고서 작성이 빨라지고 내부 지식이 AI와 연결된다고 하더라도 경영진은 여전히 “AI가 돈 버는 데 얼마나 기여했나”를 따진다. 답을 내려면 숫자가 필요하다. 결국 매출·수요·재고·리스크 같은 정량 모델이 의사결정의 핵심이기 때문이다.

많은 기업이 이미 머신러닝 모델을 운영 중이다. 문제는 이 모델의 결과가 대시보드나 CSV 파일로만 존재해 ‘숫자 언어’에 익숙하지 않은 임원에게는 여전히 장벽이 된다는 점이다.

이때 생성AI가 ‘숫자→문장 변환기’ 역할을 한다.

데이터팀이 수요 예측 모델을 API 형태로 열어 두고, AI 챗봇을 붙였다. 영업 담당자가 “7월에 아이스 커피 원두가 부족해질 위험이 있나?”라고 묻자, 챗봇은 예측 모델에서 수치를 받고, RAG로 기상청 기온 전망·작년 판매 추세·현재 재고 데이터를 꺼내 맥락을 설명한다. “평년 대비 기온이 2도 높아지고, 지난해 동월 대비 18% 수요 증가가 예상됨에 따라 품목 A 재고가 3주 뒤 15% 부족할 가능성이 높다.” 숫자와 근거가 한 문단에 담겨 오니, 담당자는 곧바로 발주 의사결정에 들어갈 수 있었다.

당연히 전통적 모델의 정확도가 낮으면 화려한 보고서도 무용지물이다.

세 번째 걸음은 AI가 숫자를 설명해 주는 동시에 모델 성능 관리(MLOps)를 체계화하는 단계다. 데이터 품질·모델 성능·실사용 피드백을 한 주기에 묶어 개선해야 한다. 모델이 편향되면 AI가 그 편향을 화려한 문장으로 포장할 위험도 커지기 때문이다.

세 번째 단계를 지났다면, AI는 더 이상 ‘도구’가 아니다. 업무 일부를 맡아서 처리하는 동료로 진화한다. 여기서 등장하는 개념이 'AI 에이전트'다.

인간이 ‘목표’만 제시하면 에이전트는 스스로 일정을 쪼개고 내부 시스템과 외부 API를 호출해 실행하며, 결과를 모니터링해 수정까지 한다.

다음과 같은 일들이 앞으로 일어날 수 있다. AI 에이전트에 부여된 목표는 단순했다.

“겨울 시즌 한정판 스니커즈 500켤레를 한 달 안에 완판하라.” 에이전트는 SNS 트렌드 분석부터 시작했다. 인스타그램·틱톡에서 ‘워터프루프’, ‘고어텍스’, ‘하이탑’ 같은 키워드가 급증하는 것을 확인하고, 이를 반영해 광고 문구와 이미지를 자동 생성했다.

광고 예산은 과거 캠페인 데이터를 토대로 SNS·검색·타깃 광고에 3:2:1 비율로 배분했다. 캠페인이 시작되자 광고 플랫폼에서 실시간으로 KPI를 가져와 성과를 분석했고, ROAS(Return on Ad Spend, 광고비 대비 발생한 수익)가 낮은 시간대에는 자동으로 예산을 옮겼다. 출시 3주 만에 목표를 초과 달성했다. 에이전트가 일으킨 매출은 사람이 반복작업을 하던 과거 방식 대비 28% 높았다.

물론 ‘자율성’이 커질수록 통제가 중요하다. 이 회사는 ‘1000만 원 이상 단일 집행은 반드시 사람 승인이 필요하다’는 임계값을 걸어 두었다. 또 에이전트 로그를 실시간으로 수집해 이상 패턴이 감지되면 즉시 알람을 보냈다.

흥미로운 사실은 에이전트 도입 6개월 뒤 'AI 매니저'라는 새 직무가 생겼다는 점이다. 기존 퍼포먼스 마케터 두 명이 AI 매니저로 변신했다. 이들은 모델을 개발하지 않지만 캠페인 정책을 설계하고 에이전트가 만든 광고 문구가 브랜드 톤을 벗어나지 않는지 모니터링한다.

“반복 업무 대신 전략적·창의적 업무에 집중할 수 있어 만족도가 높다”는 게 이들의 공통된 소감이다.

에이전트 단계까지 도달하면 AI는 비용 절감을 넘어 새로운 수익원이 된다. 이 마지막 걸음은 필수가 아닌 선택지로서 고민을 하면 된다. 이 단계의 중심에 있는 기술은 특화(버티컬) LLM과 소규모언어모델(SLM, Small Language Model)이다.

버티컬 LLM은 특정 산업·도메인에 특화된 대규모 언어모델이다. 예컨대 제약사라면 임상 데이터·규제 문서·논문을 대량 학습한 ‘의약 특화 LLM’을 만들 수 있다. 이 모델은 범용 모델 대비 정확도가 높고 규제 준수 기능을 내장할 수 있다. 한 글로벌 제약사가 이 모델을 B2B SaaS로 출시해 계약 첫 해에만 30곳 넘는 바이오텍 업체를 고객사로 확보했다는 소식을 앞으로 듣게 될지도 모른다. “약물 독성 리스크를 사전에 예측해 임상 실패율을 12% 줄였다”는 것이 고객사가 밝힌 효과다.

SLM은 반대로 모델을 대폭 경량화해 엣지 디바이스에 탑재하는 방식이다. 병원 수술실처럼 인터넷 연결이 제한된 환경, 혹은 공장 기계처럼 실시간 반응 속도가 중요한 상황에 유용하다. 예를 들어, 한 자동차 부품사에서 CNC 공작기계 패널에 SLM을 탑재한 이후 오작동 코드가 뜨면 SLM이 즉시 오류 원인과 조치 방법을 안내해 정비 시간을 40% 단축하는 시나리오가 가능해진다. 네트워크 지연이 없으니 생산 라인도 멈추지 않는다.

새 사업 모델을 열려면 데이터 비식별화, 가격 정책, 맞춤형 튜닝·컨설팅 체계를 미리 설계해야 한다. 회사 내 데이터·노하우를 그대로 파는 순간 영업 비밀이 유출될 위험도 커지기 때문이다.

중요한 것은, 이 다섯 번째 걸음이 전통 제조사나 유통사·병원도 ‘소프트웨어 구독 매출’을 올릴 수 있게 해 준다는 점이다. 제품·서비스라는 두 개의 날개로 수익 구조를 다변화할 수 있다는 의미다.

앞에서 체크한 다섯 걸음 로드맵은 완벽한 교과서가 아니다.

국내 중견회사 B 기업은 이미 머신러닝 예측 모델을 돌리고 있어 세 번째 걸음에서 출발할 수 있고 금융·의료처럼 규제가 빡빡한 산업은 SLM부터 먼저 검토해야 할 수도 있었다. 중요한 것은 “지금 우리 조직이 어디에 서 있는지”, “다음 칸으로 가려면 무엇을 준비해야 하는지”를 끊임없이 묻는 일이다.

첫걸음에서 작은 성공 경험으로 심리 장벽을 넘고 두 번째 걸음에서 문서·데이터·거버넌스를 정비하며 세 번째 걸음에서 숫자 예측에 숨을 불어넣고 네 번째 걸음에서 에이전트로 자율 업무를 시험하며 감독 체계를 세운다면 완성된 자사만의 AI 전환을 이뤄낼 수 있다. 여기에 다섯 번째 걸음까지 나가면 전통 제조 기업도 AI를 결합,새로운 비즈니스 모델을 창출할 수 있다. 이 여정이 끝나면 AI는 더 이상 실험용 장난감이 아니라 조직 DNA로 자리 잡는다.

AX는 챗GPT라는 마술봉을 휘두르면 갑자기 AI 기업으로 변신하는 것이 아니다. 계단을 한 칸씩 오르는 ‘여정’에 가깝다. 계단은 생각보다 높지 않다. 누구나, 어느 기업이나 걷고 올라갈 수 있다.

일단 출발해서 걷기 시작하고 계단을 올라가야 한다. 오늘 우리 조직이 서 있는 곳은 어디인지, 어디쯤에 계단이 있는지 다음 난간을 잡으려면 무엇을 준비해야 할지, 바로 지금이 확인할 때다. 그러다 쉬워지면 모든 조직이, 직원들이 뛰기 시작할 것이다.

하지만 아예 출발하지 않으면 구경꾼으로 전락할 수밖에 없다. 출발했더라도 잠깐 쉬거나 멈추면 금방 뒤쳐진다. 지금 거의 모든 글로벌 기업들이, 경쟁 기업들이, AI 전환이라는 길을 걷거나 뛰고 있기 때문이다. AI는 결코 추격자를 기다려 주지 않는다는 사실을 명심해야 한다.

황재선 부사장은 현재 SK디스커버리 DX Lab(부사장) 및 SK바이오사이언스 디지털혁신실(부사장)을 맡아 B2B 기업의 AI 트랜스포메이션을 위한 실행을 진두지휘하고 있다. 디지털 트랜스포메이션의 오랜 경험을 보유하고, AI 트랜스포메이션을 직접 실행하고 있는 현장 전문가다.

주요 저서로는 <AX 100배의 법칙(나와 조직의 능력을 100배 높이는 AI 경영의 실제)>, <디지털 트랜스포메이션, 조직의 습관을 바꾸는 일> 등이 있으며, 다가오는 AI 에이전트 시대, AI가 중심이 되는 기업 경영 어떻게 시작하고, 무엇을 바꿀 것인지를 안내한다.