"AI 칩 전쟁, 해자는 없다"... 엔비디아는 왜 구글이 불편할까

구글이 자체 설계한 인공지능(AI) 반도체 ‘텐서처리장치(TPU)’가 엔비디아 최신 칩을 비용 효율성에서 앞섰다는 제3자 벤치마크 결과가 나왔다. 그동안 업계에서는 엔비디아가 성능과 안정성에서 가장 앞선다는 평가가 우세했지만, 독립 기관의 실측 결과에서 구글 TPU가 일부 조건에서 더 낮은 비용을 기록한 것은 이번이 처음이다.

이번 결과는 엔비디아가 사상 최대 실적을 이어가는 가운데 나왔다. 엔비디아는 지난 8월 발표한 회계연도 2027년 2분기 실적에서 매출 962억달러, 데이터센터 매출 890억달러를 기록했다. 각각 전년 동기 대비 106%, 117% 증가했다. AI 수요가 급증하면서 엔비디아의 매출은 빠르게 늘고 있지만, 메모리 공급 부족과 인프라 비용 상승으로 수익성 부담도 커지고 있다.

이런 상황에서 구글의 7세대 TPU ‘아이언우드(Ironwood)’는 특정 추론 조건에서 엔비디아 블랙웰보다 토큰당 처리 비용이 최대 34% 낮은 것으로 나타났다. AI 반도체 경쟁에서 성능뿐 아니라 실제 서비스 운영비가 중요한 비교 기준으로 떠오르고 있다.

반도체 시장 분석업체 세미애널리시스(SemiAnalysis)는 자체 추론 성능 벤치마크 ‘InferenceX’를 통해 아이언우드와 엔비디아 블랙웰 B200·B300을 비교했다.

초당 100토큰 응답 속도를 기준으로 아이언우드의 토큰 100만 개당 처리 비용은 0.181달러였다. B200은 0.222달러, B300은 0.276달러. 아이언우드가 B200보다 약 19%, B300보다 약 34% 저렴하다는 결과가 나왔다.

응답 속도를 초당 20토큰으로 낮춘 조건에서는 격차가 더 벌어졌다. 아이언우드는 칩 1개당 초당 9364토큰을 처리해 블랙웰 두 모델보다 약 5% 높은 처리량을 기록했다. 비용 효율성도 B200 대비 50.4%, B300 대비 96.0% 높았다.

반면 첫 응답 속도에서는 엔비디아가 앞섰다. 사용자의 질문을 받은 뒤 첫 번째 토큰을 내놓기까지 걸리는 시간인 TTFT는 아이언우드가 5.41초였다. B200은 3.75초, B300은 2.40초였다.

이번 결과만으로 TPU가 블랙웰보다 전반적인 성능에서 앞섰다고 보기는 어렵다. 워크로드와 소프트웨어 환경에 따라 결과가 달라질 수 있기 때문이다. 다만 대규모 추론 서비스를 운영할 때 중요한 비용 지표에서 TPU가 경쟁력을 보여줬다는 점은 주목할만하다.

TPU의 성능은 이미 시장에서 평가를 받고 있다. 대형 AI 기업의 인프라로 사용되고 있기 때문이다.

앤트로픽(Anthropic)은 지난해 10월 구글과 계약을 확대해 최대 100만 개의 TPU에 접근할 수 있는 컴퓨팅 용량을 확보했다. 계약 가치는 수백억달러 규모이며, 2026년 중 1기가와트(GW)를 넘는 컴퓨팅 용량이 가동될 예정이다.

구글 클라우드는 당시 앤트로픽이 TPU 사용을 확대하는 이유로 가격 대비 성능과 효율성을 들었다. 토머스 쿠리안 구글클라우드 CEO도 앤트로픽이 수년간 TPU를 사용하면서 이 같은 효과를 확인했다고 설명했다. TPU가 구글 내부에서만 쓰이는 전용 칩에서 외부 AI 기업이 대규모로 사용하는 인프라로 범위를 넓히고 있는 것.

특히 추론 시장에서는 비용 차이가 중요하다. 생성형 AI 이용량이 늘어날수록 토큰을 처리하는 데 들어가는 비용도 커진다. 같은 모델을 비슷한 속도로 서비스할 수 있다면 토큰당 비용이 낮은 칩을 선택할 유인이 커진다.

엔비디아의 시장 지배력은 여전히 공고하다. 쿠다(CUDA) 기반 소프트웨어 생태계와 개발자 기반, 다양한 클라우드 사업자와의 공급망은 단기간에 대체하기 어렵다.

구글 TPU 역시 한계가 있다. 현재 외부 고객이 활용할 수 있는 환경은 구글클라우드 중심이고, 관련 소프트웨어 생태계도 엔비디아보다 작다.

그러나 엔비디아가 상대해야 할 경쟁자의 범위가 넓어지고 있다는 점은 분명하다.

그동안 엔비디아의 대항마로 거론된 것은 주로 AMD가 꼽혔다. AMD는 엔비디아와 '같은 게임'을 하는 경쟁자로 비교된다. GPU를 두고 성능과 가격을 겨루기 때문이다.

TPU의 급부상은 엔비디아가 AMD와 같은 반도체 기업뿐 아니라 구글처럼 클라우드와 AI 모델, 데이터센터를 함께 운영하는 하이퍼스케일러와도 경쟁해야 한다는 것을 의미한다. 이 기업들이 자체 칩을 외부 시장으로 확대하고 있기 때문이다.

구글은 칩 자체에서 높은 수익을 남기지 않더라도 클라우드와 AI 서비스에서 수익을 낼 수 있다. 반도체 판매가 핵심 사업인 엔비디아와는 사업 구조가 다르다. 세미애널리시스 역시 이번 아이언우드를 구글이 외부 추론 시장에서 TPU 판매와 임대를 본격화하는 첫 세대로 평가했다.

이 구조는 클라우드 3강(아마존, 마이크로소프트, 구글)이 모두 자체 AI 칩 개발에 뛰어든 이유이기도 하다. 엔비디아에게 진짜 위협적인 시나리오는 "더 빠른 GPU가 나오는 것"보다 "대형 고객사들이 자체 칩으로 특정 워크로드를 이관하는 것"이라고 볼 수 있다.

AI 칩 시장의 비교 기준도 넓어지고 있다는 점도 엔비디아에겐 불리한 조건이다. 칩 한 개의 최고 성능뿐 아니라 같은 AI 서비스를 운영하는 데 얼마가 드는지가 구매 결정에 영향을 주기 시작했다.

👉애플 M6·오픈AI 할라피뇨... 자체 칩 시대 열렸다

AI 인프라 투자 확대에 대한 신용시장의 경계감도 커지고 있다는 AI 경쟁에서 주목해야 할 시그널이다.

S&P글로벌레이팅스는 지난 3일 발표한 보고서에서 미국 주요 하이퍼스케일러의 설비투자가 예상보다 빠르게 늘고 있다고 분석했다. 자금조달 방식도 부채와 리스, 보증 등으로 복잡해지고 있으며 투자금 회수까지는 상당한 시간이 걸릴 것으로 전망했다. S&P는 미국 6대 하이퍼스케일러가 2025년부터 2030년까지 데이터센터와 AI 관련 설비투자에 7조달러 이상을 지출할 것으로 추산했다.

실제 AI 기업들의 자금조달 부담도 커지고 있다. 세마포는 8일 오픈AI와 앤트로픽의 주관 투자은행들이 두 회사에 투자등급 신용등급 확보를 서두르도록 요구하고 있다고 보도했다. 향후 대규모 회사채 시장을 활용하기 위해서는 신용등급 확보가 필요하다는 판단에서다.

이 같은 흐름은 AI 인프라 투자에서 비용 관리의 중요성이 더욱 커지고 있음을 보여준다. 데이터센터와 반도체에 투입되는 자금 규모가 커질수록 기업들은 같은 연산을 더 낮은 비용으로 처리할 수 있는 방법을 찾게 된다.

구글 TPU의 비용 효율성이 주목받는 배경도 여기에 있다. 대형 AI 기업들이 모든 워크로드를 최고 성능 GPU로 처리하기보다 용도에 따라 GPU와 자체 칩을 나눠 사용하는 방식이 늘어날 경우, 칩 선택에서도 성능과 함께 전체 운영비가 더 중요한 기준이 될 가능성이 있다.

구글 TPU의 부상은 한국 메모리 반도체 업계에도 직접적인 영향을 줄 수 있다.

GPU와 TPU 모두 고대역폭메모리(HBM)를 필요로 하는 만큼, HBM 수요 자체가 줄어드는 문제와는 거리가 있다.

변화가 예상되는 부분은 고객 구성과 제품 사양이다. 그동안 SK하이닉스와 삼성전자의 HBM 사업은 엔비디아 GPU 수요가 가장 큰 비중을 차지해왔다. 앞으로 구글 TPU를 비롯해 아마존, 마이크로소프트 등 하이퍼스케일러의 자체 AI 칩 사용이 늘면 HBM 수요처도 함께 넓어진다. 같은 HBM이라도 고객과 칩 설계에 따라 요구 사양과 인증 절차, 공급 조건이 달라질 수 있다.

앤트로픽이 최대 100만 개의 TPU를 활용하는 대규모 컴퓨팅 계약을 체결한 사례는 이런 변화가 실제 수요로 이어지고 있음을 보여준다. 투자업계에서도 올해 구글 TPU용 HBM 공급에서 SK하이닉스와 삼성전자가 상당한 비중을 차지할 것으로 보고 있다.

한국 메모리 기업 입장에서는 고객 다변화라는 기회가 생긴다. 엔비디아 의존도를 낮추면서 구글과 브로드컴 등 다른 AI 반도체 공급망에서 매출을 늘릴 수 있기 때문이다.

반면 대응해야 할 기술과 생산 조건도 많아진다. 엔비디아 GPU용 HBM과 TPU·ASIC용 HBM의 요구 조건이 달라질수록 각 고객의 설계 일정에 맞춰 제품을 개발하고 인증하는 능력이 중요해진다. 생산라인과 기술 로드맵도 여러 고객을 동시에 상대할 수 있도록 운영해야 한다.

HBM 시장의 경쟁은 생산량만으로 결정되지 않을 가능성이 크다. 어떤 고객의 차세대 칩에 먼저 들어가고, 얼마나 안정적으로 공급하느냐가 매출 구성과 수익성을 좌우할 수 있다.

구글 검색과 뉴스에서 더밀크(The Miilk)를 ‘선호하는 출처’로 추가하시면 AI·테크·비즈니스의 중요한 변화를 찾을 때 더밀크의 기사와 인사이트를 더 쉽게 만날 수 있습니다.

아래 링크를 누르시고, 목록에서 더밀크 옆 체크박스를 눌러주세요. (구글 로그인 상태여야 합니다)

[구글에서 더밀크를 선호 소스로 지정하기]