GPU 26만장, 고철로 만들지 않으려면 : 정부가 먼저 수요 만들라

"지금 GPU 받은 기업도 걱정하고 있습니다. GPU를 무엇을 해야 하나요?" A 대학 교수.

"총장님으로 부터 명령이 떨어졌습니다. 정부가 확보한 5만장 중에 10%인 5000장을 우리 대학에 확보해야 한다구요" B 대학 교수.

엔비디아 젠슨 황 CEO가 GPU 26만장을 한국에 공급하기로 약속한 이후 한국의 AI 지형도가 크게 바뀌고 있다. 정부도 2026년 예산안에서 'AI 예산'을 집중 배치하며 국정에 중심을 둘 것임을 선언하기도 했다. 하지만 문제는 지금부터다. GPU 26만장이 ‘전략자산’이 될 것인가. ‘고철덩어리’가 될 것인가의 기로에 놓여 있기 때문이다. 

젠슨 황 CEO가 26만장 공급 계약 약속에 일정 정도 역할을 한 최태원 SK그룹 회장은 지난 3일 코엑스에서 열린 SK AI 서밋에서 “미국, 중국을 제외하면 한국이 늦었다고 생각하지 않는다. 다만 걱정되는 것은 AI 데이터센터와 GPU를 확보했다고 끝나는 것이 아니라 무엇을 할 것인가가 큰 문제다. 현재 대한민국 AI의 수요는 10메가와트(MW)~20메가와트 정도 된다”고 밝혔다. 

실제로 그렇다. GPU 26만장이 한번에 한국에 들여오는 것은 아니지만 풀 전력으로 최소 2.5기가와트(GW) 급 에너지를 소비하는 규모다.

오픈AI, 메타, 구글 등 빅테크 기업들은 AI 데이터센터를 5~20GW급으로 짓고 있다. 이들이 경쟁적으로 ‘증설’하는 이유는 AI 및 GPU 수요가 폭증할 것으로 예상하기 때문이다. 실제 오픈AI는 최근 사용자가 8억명에 이르렀다고 발표한 바 있는데 오는 2030년까지 50억 인구가 쓸 것이라고 보고 막대한 자금을 동원해 건설에 나서고 있다. 

하지만 최 회장이 언급했듯 한국은 2025년 현재 전체 산업에서 쓰는 AI 소비 규모는 10MW~20MW 정도면 충분한 상황이다. 고속도로에 비유하자면 아직 한국은 왕복 2차선 도로에 차가 띄엄띄엄 다니는 수준으로 AI를 활용하고 있다. 

수요가 없는건 아닌데 대부분 외산(미국 오픈AI, 구글 제미나이 클로드, 중국 딥시크, 알리비바 큐엔 등)을 쓰고 있어서 지금 상황으론 국내에선 도로를 많이 설치할 필요가 없을 정도다. 하지만 GPU 26만장을 들여 온다고 하면 오는 2030년까지 최소 왕복 8차선 고속도로가 생기는 셈이 된다. 

물론 ‘언젠가는’ 수요가 늘어날 것이다. 하지만 고속도로와 달리 최신 GPU의 특징은 수명이 3년~5년에 달한다는 점이다. 지속적으로 업그레이드 해야 경쟁력을 유지할 수 있다. GPU를 5만장씩 확보한 삼성그룹, SK그룹, 현대차그룹과 6만장을 확보한 네이버 등도 현재 “무엇을 할 것인가?”라며 고민하고 있다.  

엔비디아의 GPU 26만장 공급 약속으로 인해 한국 AI 산업에도 게임의 법칙이 달라졌다.

이전까지는 ‘인프라 부족’을 우려했다. 예산이 충분치 않고 GPU 확보도 난망했기 때문에 인프라 확보가 급해보였다. 하지만 GPU 26만장을 확보한데 이어 이재명 대통령이 “정부가 마련한 2026년 예산안은 바로 인공지능 시대를 여는 대한민국의 첫 번째 예산"이라고 밝힐 정도로 AI에 집중 돼 이제는 ‘수요’를 어떻게 만드느냐가 중요해졌다.

과기정통부가 편성한 AI 관련 예산 10.1조원은 역대 최대 규모다. 전년 대비 29.7% 증가한 4.46조원이 AI 대전환(AX)에 투입된다. GPU 인프라에만 2.1조원이다. 숫자만 보면 과감하고 파격적이다.

하지만 이 예산으로 답할 수 없는 질문이 하나 있다. 누가, 왜, 무엇을 위해 이 GPU를 사용할 것인가?

한국은 지금 AI 산업은 ‘수요 부족’, 정확히는 ‘(쓸) 이유 부족’ 상태에 놓여 있다. 한국에서 대규모 GPU를 필요로 하는 기업이 많지 않기 때문이다. 그나마 수요가 있는 대기업인 삼성전자, LG그룹, SK그룹 등은 현재 ‘비즈니스 관계’에 의해 오픈AI, 구글, 아마존, 마이크로소프트 등과 긴밀히 협력하고 있다. GPU를 직접 운영하는 것보다 클라우드 서비스를 이용하는 것이 경제적이고 ‘관계’를 맺는데도 유리하다. 

더구나 아마존 AWS, 구글 클라우드, 마이크로소프트 에저(Azure)는 이미 완성된 인프라와 도구를 제공하며 한국에서 활발히 영업하고 있다. 한국 기업들이 굳이 자체 GPU를 운영할 이유가 없다. 한국 기업들은 대부분 GPU를 쓸 의사는 있다. 그러나 돈 내고 쓸 생각은 없다.  AI로 돈을 버는 곳이 거의 없기 때문이다. 

젠슨 황이 한국에 온 이유를 다시 생각해보자. 그는 "피지컬 AI"를 강조했다. 그러나 피지컬 AI는 이제 개념이 시작된 것으로 아직 세계적으로도 성공 사례가 없다. 테슬라도 10년째 "내년에는 완성"이라고 한다. 보스턴 다이내믹스 로봇도 멋지지만 아직 상용화 못 했다.

한국 AI 생태계의 현실은 더욱 암울하다. 자체 모델 개발 역량이 제한적인데다 충분한 학습 데이터 확보가 어렵다. 최고급 AI 인재는 실리콘밸리에 있고 명확한 수익모델이 부재하다. 

글로벌 AI 기업들이 기대하고 있는 한국의 제조역량에 더한 AI는 아직 ‘시나리오’에 가깝다. 

실리콘밸리의 AI 인프라 투자를 보면 명확한 차이가 보인다. 오픈AI는 챗GPT가 1억 유저를 돌파한 후 GPU를 대량 확보했다. 수요가 먼저였다. 메타도 30억 사용자의 페이스북, 인스타그램, 왓츠앱에 AI를 통합하기 위해 GPU를 확보한다. 명확한 활용처가 있다.

구글은 검색, 유튜브, 지메일 등 모든 서비스에 AI를 적용한다. 일일 사용자만 수십억 명이다. GPU 수요가 명확하다. 아마존 AWS는 전 세계 기업들이 GPU를 임대하는 플랫폼이다. 안정적인 수익 모델이 있다. 이들의 공통점은 수요가 공급에 선행한다는 것이다.

한국은 반대로 해야 한다. GPU를 먼저 확보한 후 활용방안을 고민을 시작한 상황이다. 실리콘밸리에서 지적하는 ‘꿈의 구장 전략’이다. (야구장처럼) 인프라·플랫폼·제품을 만들고 나면, 소비자나 사용자가 스스로 찾아올 것(If you build it, they will come)이라는 것이다. 선 투자·후 수요 창출이라는 희망적 사고에 기반한다. 하지만 AI 인프라는 야구장이 아니다. GPU는 돌아가지 않으면 감가상각이 빠르게 진행되는 자산이다.

이런 상황에서 한국은 고속도로를 깔면서 동시에 자동차 기업을 육성했던 것처럼 정부의 역할이 중요할 수밖에 없다. AI 투자는 규모가 크고 리스크도 있기 때문에 정부가 초기 수요를 만들어주고 마중물이 돼 줘야 민간에서도 활발히 투자하고 활용할 수 있기 때문이다. 민간 수요가 없다면 정부가 수요를 만들어야 GPU가 ‘고철덩어리’가 되는 것을 막을 수 있을 것이다. 

AI 대전환(AX)을 내세운 정부 예산안에서 빠진 부분이 있다. 바로 중앙부처 핵심업무의 AI 전환이다. 정부에서 부터 AI 전환을 시도해야 한다. 모든 정부 부처에 AI 전환 예산을 배정하고 행정 업무 AI 자동화를 ‘의무화’ 하는 방안이다. 또 각 지자체도 AI 전환을 강제하기 위해 예산이라는 당근과 채찍으로 AI 서비스 구축을 의무화 해야 한다. 

오픈AI도, 구글도, AI 서비스를 외부에 판매하기 전에 자사에 가장 먼저 도입하고 내부 임직원들이 첫번째 수요처를 만들고 있다. IBM은 이를 ‘클라이언트 제로’라 부른다. IBM이 AI 컨설팅을 각 기업에 한 결과, 성공한 AI 기업들은 모두 ‘내부 수요’를 충족하고 만족도를 높인 후 외부에 판매했다는 공통점이 있다는 것을 발견했다. 첫번째 고객(클라이언트)을 만들기 전에 내부 고객(클라이언트 제로)를 만족시켜야 한다는 것이다. 

‘AI 정부’를 내세운 이재명 정부도 AI 혁신에 앞장서기 위해서는 ‘내부 고객’ 즉, 정부 조직과 공무원들이 가장 먼저 AI에 통달하고 서비스를 도입해 써야 한다. 

예를들어 국교토통부는 AI 교통 최적화 (실시간 신호등 제어, 교통량 예측)를 할 수 있으며 행정안전부는 AI 재난 예측 (침수·산불·지진 조기 경보), 복지부는 AI로 복지 사각지대를 발굴 (빅데이터 기반 잠재 수혜자 발굴)할 수 있다. 

국세청은 AI 기반 세무조사 시스템 (탈세 패턴 자동 분석)을 도입, 실행할 수 있으며 관세청은 AI 밀수품 탐지 (X-ray 이미지 실시간 분석)를 할 수 있다. ‘의료 AI’에 보험 수가를 인정하는 방안도 있다. AI 진단 보조 시스템 사용 시 보험을 적용하며 AI 기반 건강 모니터링 서비스에 건보를 적용하는 것이다. 원격 진료 AI 플랫폼 구축도 도입할 필요가 있다. 

글로벌 톱 수준인 ‘전자정부’를 활용, 정부가 ‘공공 AI 킬러 앱’을 선제적으로 만드는 방법도 있다. 모든 국민이 무료로 사용하는 AI 비서를 만드는 것이다. 이 AI 비서(에이전트) 앱으로 행정, 세금, 법률, 의료 상담을 할 수 있을 것이다. 카카오톡, 네이버, 정부24 등에 통합하면 활용도를 높일 수 있다. 

5천만 국민이 쓰는 앱으로 만들어 하루 1번씩만 써도 월 15억 쿼리다. 엄청난 GPU 수요를 만들어낼 수 있다. 중소 제조업체를 위한 무료 AI 공정 최적화 AI를 만들어 배포할 수 있고 전국 초중고에 AI 튜터 배치, 학생별 맞춤 학습 제공하고 선생님 업무를 보조할 수 있다. 이렇게 하면 정부가 연간 3~4조원의 AI 수요를 만들고 이것만으로도 상당한 GPU 사용량이 생긴다. 

이 계획의 핵심은 규모와 의무성이다. 선택이 아니라 단계별로 이행해야 하며  부처 성과평가에 반영하고 이행하지 않으면 차년도 예산 삭감하게 한다. 이렇게 되면 정부와 공공기관에서만 연간 수백억 GPU 시간의 수요가 발생할 수 있다. 물론 정부 AI는 외산이 아닌 ‘국산 공공기관 클라우드’를 활용해야 한다. 

또 정부가 확보한 GPU를 활용한 AI 스타트업 생태계를 조성해야 한다. 1,000개 팀 중 10%만 성공해도 100개의 AI 기업이 탄생한다. 그들이 성장하면서 자체 GPU를 구매한다. 선순환의 시작이다.

이처럼 정부가 공공부문의 AI 전환을 의무화해서 수요를 창출하고 민간 AI 활용을 위해 보조금 (진입장벽 제거)을 도입하며 제조업 AI 전환을 위해 인센티브 (ROI 보장) 제도를 시행하는 것만 제대로 해도 선수요 창출을 기대할 수 있다. 이렇게 되면 26만장의 GPU는 진정한 한국 경제 혁신의 엔진이 될 수 있다.

시간이 많지 않다. 정부 예산안은 방향은 옳다. 하지만 GPU 26만개를 확보한 이상 규모와 접근방식의 전환이 필요하다.

공급자 지원에서 수요자 촉진으로, 하드웨어 투자에서 생태계 조성으로 전환해야 한다. AI 강국은 GPU 개수로만 결정되지 않는다. 활용도로 결정된다. 이제 우리에게 필요한 것은 더 많은 GPU가 아니라, GPU를 돌릴 수 있는 ‘수요’가 중요해졌다. 

실리콘밸리 현장에서 투자자들을 만나보면 한결같이 "한국은 항상 하드웨어에서 시작한다. 반도체, 디스플레이, 배터리… 그리고 나중에 소프트웨어를 고민한다"고 지적한다. AI도 같은 패턴을 따르고 있다.

하지만 AI 시대는 달라야 한다. 하드웨어는 공공재가 될 수밖에 없다. 소프트웨어와 활용이 차별화 요소다. 정부는 이 전환을 이해하고 AI 예산을 재편해야 한다.