천재 AI 학자는 왜 26억원 구글 연봉 거절하고 오픈AI로 갔을까?

2003년이었습니다. 수학을 전공하고 있던 학부생 일리야 수츠케버(Ilya Sutskever)는 같은 토론토대에서 인공지능(AI)을 연구하는 제프리 힌튼 교수를 찾아 갑니다. 이스라엘 출신의 수츠케버가 부모를 따라 캐나다로 이민을 온 지 1년뿐이 되지 않았을 때 였어요. 수츠케버가 그의 연구실 문을 두드렸을 때 힌튼 교수는 말했습니다.

“약속 잡고 와.”

“지금으로 잡으면 안될까요?”

그 자리에서 수츠케버와 대화를 나눈 힌튼 교수는 수츠케버가 상당히 똑똑하다는 사실을 알게 됐어요. 그에게 2개의 논문을 읽어 보라고 줍니다. 다음 주 수츠케버는 다시 힌튼 교수를 찾아와 이야기 합니다.

“이해가 잘 안됩니다.”

“뭐가?”

“문제를 해결하기 위해 신경망(neural network)을 훈련시키잖아요. 그리고 나서 다른 문제를 해결하려면 다른 신경망으로 다시 훈련시킵니다. 모든 문제에 대해 학습하는 하나의 신경망이 있어야 합니다.”

수학과 학부생이 AI를 몇 년씩 공부한 대학원생보다 나았어요. 힌튼 교수는 일개 학부생 수츠케버를 연구실에 들입니다.

나중에 AI에 대한 역사를 기술할 때 이 만남은 상당히 중요하게 기록될 겁니다. 힌튼 교수는 기계가 인간처럼 경험과 학습을 통해 지능을 갖게 된다는 신경망 이론을 체계화했고 딥러닝(deep learning)을 대중화시켰어요. 그의 수제자인 수츠케버는 2010년대 이후 거의 모든 주요한 AI 프로젝트에 관여한 인물이고요. 알렉스넷부터 구글 번역기를 거쳐 알파고와 챗GPT까지 말이에요.

챗GPT의 아버지이자 오픈AI의 치프 사이언티스트(Chief Scientist) 일리야 수츠케버가 관여한 프로젝트를 토대로 그에 대해 알아봅니다.

힌튼 교수와의 첫 만남 이후 9년이 지났습니다. 수츠케버는 힌튼 교수 밑에서 컴퓨터공학 박사가 됐어요. 두 사람의 연구 분야였던 신경망과 기계학습, 딥러닝은 당시만 해도 크게 각광 받지 못했습니다. 이를 위해서는 엄청난 데이터가 필요하고 이를 분석해야 하는데 당시엔 데이터는 많지 않았고 데이터를 연산하기 위한 컴퓨팅 속도도 느렸기 때문이에요. 

그런데 2012년 모든 게 바뀝니다. 매년 열리는 이미지넷(ImageNet)이라는 경연대회가 있어요. 2010년 시작된 이 대회는 1000개가 넘는 카테고리로 분류된 100만 개 이미지의 인식 정확도를 겨루는 시각지능 대회에요. 2012년 전까지는 이미지 인식 정확도가 75%를 넘지 못했습니다. 그런데 2012년 힌튼 교수와 수츠케버, 알렉스 크리제브스키가 딥러닝을 통해 이미지 인식 정확도를 75% 이상으로 끌어 올리면서 우승한 거에요.

세 사람은 이 시스템을 크리제브스키의 이름을 따 ‘알렉스넷’이라고 이름 붙였습니다. 이들은 나중에 관련 논문을 쓰는데요, 9쪽짜리 이 논문은 6만 번 넘게 인용되면서 컴퓨터 사이언스 분야 최다 인용 논문 중 하나가 됩니다.

힌튼 교수는 이 논문을 토대로 수츠케버, 크리제브스키와 함께 DNN리서치라는 AI 기업을 창업합니다. 9쪽짜리 논문을 제외하고는 아무 것도 없는 기업이었죠. 그런데도 중국의 바이두는 곧바로 1200만 달러에 이 기업을 인수하겠다는 의사를 타진합니다. 힌튼 교수는 바이두에 파는 대신 이 기업을 경매에 붙입니다.

경매에는 구글과 마이크로소프트, 바이두, 딥마인드의 4곳이 참여했어요. 현금이 부족한 스타트업 딥마인드가 먼저 떨어져 나갔고 마이크로소프트도 중간에 포기했죠. 결국에는 4400만 달러에 구글이 인수하는 걸로 결정됩니다.

이렇게 2013년부터 수츠케버는 구글에서 일하게 되요. 구글 브레인이라는 곳의 리서치 사이언티스트가 됩니다. 구글에서 다양한 AI 과학자들과 만나게 되면서 수츠케버의 생각은 더욱 커지게 됩니다. 특히 구글이 인수한 딥마인드의 공동창업자 데미스 하사비스 등과 교류하면서 AGI(Artificial General Intelligence, 인공 일반 지능)도 가능할 수 있겠다는 생각을 하게 되죠. AGI는 인간이 할 수 있는 모든 일을 할 수 있는 인공지능을 말합니다.

구글에서 그는 시퀀스-투-시퀀스(Sequence-to-Sequence, seq2seq)라는 입력된 시퀀스로부터 다른 도메인의 시퀀스를 출력하는 모델을 제안합니다. 챗봇과 기계 번역이 모두 이를 이용하는 예에요. 그의 연구로 인해 구글의 번역 성능이 확실히 좋아지게 됩니다. 어찌 보면 챗GPT의 씨앗이 이 때 뿌려진 건지도 모르겠어요.

또 수츠케버는 구글이 딥 러닝과 머신 러닝에 활용하기 위해 개발한 오픈소스 소프트웨어인 텐서플로우(TensorFlow) 개발에도 관여해요. 이 뿐이 아닙니다. 수츠케버는 2016년 ‘네이처’ 지에 등재된 알파고 관련 논문의 공동저자이기도 합니다. 알파고는 이세돌 9단을 이겨 바둑계는 물론 전세계에 파란을 일으킨 인공지능 시스템이죠.

이런 연구를 통해 수츠케버는 2015년 MIT 테크놀리지 리뷰가 선정한 ‘35세 미만 혁신가’에 이름을 올립니다.

2015년 7월이었어요. Y콤비네이터의 샘 알트만과 일론 머스크, 금융기업 스트라이프의 CTO였던 그레그 브록만, 수츠케버가 모여 저녁을 먹습니다. 알트만과 브록만은 AI 업계의 최고를 모아 연구하는 조직을 만들고 싶었어요. 바로 오픈AI 같은 조직 말이죠. 브록만은 이 날의 수츠케버에 대해 이렇게 쓴 적이 있습니다.

“(그는) 기반의 원천이었습니다. 그는 폭 넓은 지식과 비전을 가진 명확한 기술 전문가였으며 항상 현재 시스템의 한계와 기능에 대한 세부 사항을 파헤칠 수 있었습니다.”

이들과 대화를 나누면서 수츠케버는 AI에 대해 자신과 같은 믿음과 열정을 가진 사람들을 드디어 찾았다고 생각했어요. 지금의 오픈AI 회장인 브록만은 수츠케버에게 오픈AI에 합류해 달라고 제안하면서 3주 간의 말미를 줬습니다.

이 사실이 알려지자 구글은 거의 200만 달러에 이르는 연봉을 제안하며 수츠케버를 잡으려고 했어요. 오픈AI가 주려는 금액의 2배가 넘는 금액이었죠. 하지만 수츠케버는 고민하다가 결국 구글을 버리고 오픈AI에 합류합니다.

그가 오픈AI에 합류한 건 비전 때문이었어요. 우선 오픈AI는 비영리 단체입니다. 그는 AI는 비영리 단체에서 연구해야 한다는 생각을 가지고 있었거든요. 게다가 오픈AI는 AI를 사용하여 모든 인류에게 혜택을 주고 책임 있는 방식으로 AI를 발전시킨다는 목표를 가지고 있었습니다.

수츠케버는 오픈AI에서 GPT의 개발을 주도했어요. GPT(Generative Pre-trained Transformer) 모델은 신경망 기반 언어 모델입니다.

2018년 나온 GPT-1은 인간의 지도 없이 교육을 할 수 있도록 했습니다. 앞에 나오는 단어의 맥락을 기반으로 문장의 단어를 예측하는 방법을 학습하는 거에요. GPT-2는 GPT-1의 성공을 기반으로 훨씬 더 큰 데이터 세트를 학습하면서 훨씬 더 강력한 모델이 됐습니다. 광범위한 주제에 대해 일관되고 유창한 글을 생성할 수 있게 됐죠. 2020년에 나온 GPT-3는 크기와 성능에서 모두 발전을 이뤘습니다. 질의 응답, 번역, 요약과 같은 언어 작업에서 거의 인간과 비슷한 수준의 능력을 보여줬어요. 또 간단한 코딩 작업을 하고 기사와 시를 쓰는 능력도 있습니다.

GPT-3를 기반으로 지금 열풍을 일으키고 있는 챗GPT가 만들어졌고 이제 GPT-4의 출시를 눈앞에 두고 있죠. 챗GPT가 무서운 이유는 미리 학습된 답변만 할 수 있었던 기존 AI 모델과 달리 즉석에서 답변을 만들어 내기 때문이에요. 더 역동적이고 다양한 대화를 나눌 수 있으니까요.

수츠케버는 2021년에는 AI 기반 이미지 생성 모델인 달리1(DALL-E1)의 개발도 주도합니다. 요즘 많이 사용되고 있는 달리2나 미드저니(MidJourney)는 모두 달리1를 기반으로 합니다. 같은 변환 아키텍처를 쓰고 비슷한 이미지 데이터세트를 통해 학습을 해요.

수츠케버는 2011년 딥마인드에 입사 하기 위해 런던에서 면접을 본 적이 있어요. 그 자리에서 딥마인드의 공동창업자인 하사비스와 쉐인 레그는 AGI(인공 일반 지능)에 대해 이야기 했습니다. 당시 AGI는 뜬구름 잡는 얘기였어요. 인간이 할 수 있는 모든 일을 할 수 있는 인공지능이라니 수츠케버는 말이 안된다고 생각했죠. 그래서 토론토로 돌아왔어요. 하지만 이젠 생각이 다릅니다. AGI는 실현될 수 있다고 믿어요. “요즘의 거대 신경망은 약간의 의식이 있는 것 같다”고 트윗을 할 정도니까요.

수츠케버는 이런 말을 한 적이 있어요.

“인류를 사랑하는 AGI를 만드는 것이 중요하다.”

수츠케버는 현재 최고의 AI 학자 중 한 명입니다. 거의 모든 유명 AI 프로젝트를 섭렵한 그의 다음 행선지가 어디가 될 지 궁금합니다. 그리고 그가 인류를 사랑하는 AI를 만들기를 기대해 봅니다.