디지털 세계 설계자 ‘폰 노이만’을 넘어라... AI 컴퓨팅 미래는?

2026년, AI 혁명의 승패는 '컴퓨팅 파워'에 달려있고, 최전선에는 엔비디아가 있다. 하지만 이 AI 제국의 발목을 잡는 그림자가 있으니, 바로 70여 년 전 한 천재가 설계한 컴퓨터 구조다.

그의 이름은 존 폰 노이만(John von Neumann). 그가 1945년 제시한 '폰 노이만 아키텍처'는 오늘날 모든 디지털 기기의 근간이다. 중앙처리장치(CPU)가 메모리에서 명령어와 데이터를 순차적으로 가져와 실행하는 이 모델은 지난 70년간 디지털 혁명을 이끌었다.

하지만 AI 시대, 수백억 개 파라미터를 처리해야 하는 연산에서 CPU와 메모리 사이의 좁은 통로는 엄청난 교통체증, 즉 '폰 노이만 병목(Von Neumann Bottleneck)'을 피할 수 없었다. AI 연산의 90%는 데이터를 옮기는 데 허비되고, 정작 연산 유닛은 데이터 도착을 기다리며 '놀고 있는' 비효율이 발생하는 것이다. 엔비디아가 HBM(고대역폭 메모리)에 집착하고, 삼성전자와 SK하이닉스가 PIM(Processing-in-Memory)에 사활을 거는 이유다.

역설적이게도, AI 시대의 가장 뜨거운 전장은 70년 전 사망한 천재 수학자의 머릿속에서 시작됐다. 더 놀라운 사실은, 폰 노이만 자신이 이 한계를 이미 예견했다는 점이다.