10배 강력한 TPU로 추론 AI 이끈다…구글의 3가지 필승 전략

“7세대 TPU(텐서처리장치) ‘아이언우드(Ironwood)’가 AI 파워의 다음 최첨단(frontier)을 가능하게 할 것입니다.”

순다 피차이 구글 CEO는 9일(현지시각) 라스베이거스 만달레이 베이 컨벤션 센터에서 열린 ‘구글 클라우드 넥스트 2025’ 기조연설에서 “아이언우드는 지금까지 우리가 만든 칩 중 가장 강력한 칩”이라며 이같이 말했다. 

구글의 강력한 AI 하드웨어 및 인프라로 추론(inference) AI 시대를 이끌고, 구글 클라우드 고객사에는 안정적인 컴퓨팅 자원을 제공한다는 목표다. 

그는 “2025년 서버, 데이터센터에 총 750억달러(약 110조3700억원)를 투자할 계획”이라며 “AI를 통한 기회는 그만큼 크다. 구글은 모든 것을 가능하게 하는 인프라부터 AI 혁신 전체 스택(stack, 기술)에 투자하고 있다”고 강조했다. 

구글은 이날 키노트에서 차세대 TPU 외에 구글 광역 네트워크(WAN) 고객사 제공, 에이전트(agent, 대리인) 간 정보 교환을 위한 프로토콜인 ‘에이전트 투 에이전트 프로토콜(Agent2Agent, A2A)’ 공개, 버텍스AI 플랫폼에 음악 생성 모델 ‘리리아(Lyria)’ 추가 등 다양한 제품, 서비스 업데이트를 발표했다. 

하드웨어부터 클라우드, AI 모델까지 모든 AI 기술을 내재화하는 동시에 에이전트 생태계를 확장해 상호운용성을 높이고, 고객 친화적인 정책으로 세일즈를 가속화하는 전략을 추구하는 것으로 풀이된다.

차세대 TPU 아이언우드는 이전 세대 TPU(v5p) 대비 10배 이상 성능이 향상된 고성능 칩이다. 여러 개 TPU를 연결한 ‘포드(Pod)’는 9000개 이상의 칩을 탑재하고 42.5 엑사플롭스(Exaflops, 1엑사플롭스는 1초에 100경 번 연산) 성능을 제공한다.

AI 업계에서는 AI 애플리케이션 폭증, AI 에이전트(agent, 대리인) 확산으로 추론 수요가 급증할 것이란 관측이 제기돼왔다. AI 앱을 구동하거나 AI 에이전트를 사용하는데 막대한 컴퓨팅 자원이 필요하기 때문이다. 

실제로 AI 모델 개발 과정에서 요구됐던 훈련(training)에서 AI 활용 중심의 추론으로 무게의 추가 이동하는 추세다. 최근 샘 알트만 오픈AI CEO가 이미지 생성 기능 출시로 GPU 사용이 폭증하자 “우리 GPU가 녹아내리고 있다”고 언급한 게 대표적 사례다. 구글은 “AI 모델 사용 확산으로 인해 급증하는 추론 수요를 충족할 수 있다”고 했다. 

2024년 5월 공개된 6세대 TPU ‘트릴리움(Trillium)’의 성능이 전작 대비 4.7배 개선됐다는 걸 고려하면 TPU 성능 개선 속도는 더 가팔라졌다. 피차이 CEO는 “2018년 외부에 공개한 첫 TPU와 비교하면 아이언우드의 연산 능력은 3600배 증가했고, 에너지 효율은 29배 이상 개선됐다”며 “이러한 발전은 여러 분야에서 돌파구를 마련하는 토대가 되고 있다”고 했다. 

구글의 고성능 TPU는 구글 딥마인드의 강력한 자체 AI 모델과 더불어 구글 클라우드의 최대 강점이 되고 있다. 자체 하드웨어 인프라와 자체 AI 모델을 보유, AI 분야에서 안정적인 클라우드 서비스 공급이 가능하기 때문이다. 

토마스 쿠리안 구글 클라우드 CEO는 “버텍스AI(Vertex AI, 머신러닝 모델 및 생성형 AI 앱 개발 플랫폼)에 음악 생성 모델 ‘리리아(Lyria)’가 추가됐다. 버텍스AI는 비디오, 이미지, 음성, 음악에 대한 생성형 AI 모델을 갖춘 유일한 플랫폼”이라고 했다.

에이전트 생태계 확장도 눈에 띄는 전략이다. 다양한 에이전트를 활용할 수 있도록 상호운용성(interoperability)을 높이고, 에이전트 간에 사용할 수 있는 새로운 프로토콜(protocol, 컴퓨터 또는 전자기기 간의 원활한 데이터 교환을 위한 규약)도 제시했다.  

버텍스AI는 클라우드 서비스 중 가장 개방적인 AI 플랫폼으로 꼽힌다. 제미나이 등 구글의 AI 모델을 포함해 엔트로픽(Anthropic), AI21, 미스트랄(Mistral) 등 다양한 AI 모델과 오픈소스 모델 전체를 활용할 수 있다. 조직 내부 데이터를 이용해 기반 모델(foundation model)을 맞춤형으로 학습, 미세조정하는 것도 가능하다.

특히 여러 에이전트가 함께 작업할 수 있도록 멀티 AI 에이전트 솔루션을 제공한다는 점이 강점이다. 클라우드 서비스 업체 중 유일하게 멀티 AI 에이전트 솔루션을 제공, 에이전트 생태계 확장을 이끄는 전략이다. 랭그래프(LangGraph), 크루 AI(Crew AI) 등 여러 에이전트 프레임워크에서 구축된 에이전트를 버텍스AI 플랫폼에서 원활하게 관리할 수 있다. 

예컨대 세일즈포스가 제공하는 에이전트인 ‘에이전트포스(Agentforce)’와 구글의 ‘고객 에이전트(Customer Agents)’를 함께 사용해 고객 응대 및 CRM(고객 관계 관리) 업무를 자동화하는 식이다. 이날 키노트에서는 가상의 온라인 커머스 업체가 고객 에이전트를 세일즈포스의 CRM 프로그램과 연동, 전문적인 상담을 진행하는 시연이 펼쳐지기도 했다.  

구글은 멀티 에이전트 생태계를 지원하는 ‘에이전트 투 에이전트(Agent2Agent, A2A) 프로토콜’도 공개했다. A2A를 활용하면 기반 기술에 관계없이 에이전트가 서로 통신할 수 있다. 최근 급부상한 앤트로픽의 ‘MCP(Model Context Protocol, 모델 컨텍스트 프로토콜)’처럼 관련 생태계 만들기에 돌입한 것으로 풀이된다. 

액센츄어(Accenture), 박스(Box), 딜로이트(Deloitte), 세일즈포스(Salesforce), SAP, 서비스나우(ServiceNow) 등 50개 이상의 파트너가 A2A 프로토콜에 참여하고 있다. 구글은 에이전트 샘플 및 도구 모음인 ‘에이전트 가든(Agent Garden)’, 에이전트 개발을 돕는 ‘에이전트 개발 키트(Agent Development Kit, ADK)’도 새롭게 선보였다.

고객 친화적 정책 확대 전략도 주목할 만 하다. 키노트에서 순다 피차이 CEO가 강조한 ‘구글 클라우드 광역 네트워크(Cloud WAN)’ 고객사 오픈이 대표적인 사례다.  

구글의 광역 네트워크는 200개 이상의 국가와 지역을 아우르는 200만 마일 이상의 사설 광케이블망이다. 이 네트워크를 통해 구글은 전 세계 수십억 명의 사용자에게 지메일(Gmail), 구글 포토(Google Photos), 구글 검색(Google Search) 등의 서비스를 제로에 가까운 저지연으로 빠르게 제공하고 있다. 구글의 가장 강력한 AI 모델인 제미나이 학습에도 활용된다.

이번 클라우드 넥스트 2025에서 구글은 WAN을 전 세계 구글 클라우드 고객이 사용할 수 있도록 오픈한다고 밝혔다. WAN을 활용하면 기존 대비 40% 이상 더 빠른 성능을 구현하는 동시에 총 소유비용(TCO)을 최대 40% 절감할 수 있을 전망이다. 

피차이 CEO는 “시타델 증권(Citadel securities), 네슬레(Nestle) 같은 기업들은 이미 이 네트워크를 사용해 더 빠르고 안정적인 솔루션을 제공하고 있다”며 “이는 다른 기업이 사용할 수 있도록 기술 인프라를 개방하는 구글의 전통”이라고 설명했다. 

정보 유출, 보안 등에 민감한 기업을 위해 엔비디아와 손잡고 ‘분산 클라우드(Distributed Cloud)’를 제공하는 것 역시 고객 친화적 전략의 일환으로 풀이된다. 이 솔루션을 활용하면 엔비디아 블랙웰 HGX, DGX 플랫폼을 기반으로 온프레미스(On-premises, 기업이 자체적으로 IT 인프라를 관리) 환경에서도 구글 제미나이 AI 모델군, 에이전트 AI를 사용할 수 있게 된다. 

환자 기록, 금융 거래 및 정부 기밀 정보와 같은 민감한 정보에 대한 액세스를 차단해 규제 요건 및 데이터 주권법을 준수할 수 있다는 설명이다. 구글은 “최고 수준의 보안 및 규제 환경에서 제미나이를 사용할 수 있도록 기존 제품을 한층 개선했다”며 “미국 정부의 비밀(Secret) 및 최고 기밀(Top Secret) 임무에 대한 승인을 취득했다”고 했다.