멀티모달 AI 에이전트

“지금 AI에 조명을 켜달라고 요청해 보겠습니다. 보이시죠? 집이 밝아졌습니다.”지난 15일(현지시각) 미국 캘리포니아주 샌프란시스코. AI 커뮤니티 ‘AGI 하우스’가 개최한 해커톤(hackathon, 제한된 시간에 서비스를 개발해 발표하는 행사) 현장에서 흥미로운 시연이 펼쳐졌다.  MCP(Model Context Protocol, 모델 컨텍스트 프로토콜)를 애플 홈킷(HomeKit)에 연결, AI 모델로 다양한 가전제품을 실시간 원격 제어하는 시연이 펼쳐진 것이다. 시연을 담당한 제이콥 ‘프리스타일(Freestyle)’ CTO가 텍스트(text, 문자) 입력만으로 집 조명 색깔을 빨강색으로 바꾸고, 오븐을 가동해 온도를 설정하자 현장에서 박수가 터져 나왔다. 벤자민 프리스타일 CEO는 “AI가 코드를 실행해 다양한 일을 수행할 수 있도록 만들었다”며 “이런 방식으로 애플 홈킷이 있는 어떤 집이든 제어할 수 있다”고 설명했다.  이들의 시연은 스마트폰 애플 홈 앱으로 미리 설정된 기능을 작동하는 것과 완전히 다른 방식으로 구현됐다. 우리가 일반적으로 사용하는 자연어로 AI 모델에 요청하는 것만으로 코드가 실행, 실제 기능이 수행됐기 때문이다. 이 방식은 문자나 음성 기반의 훨씬 간편한 사용자 경험을 제공할 뿐 아니라 ‘더 많은 기기 제어’, ‘훨씬 다양한 작업 요청’ 등의 확장성을 내포한다. 이런 변화의 핵심에 MCP가 있다.

오픈AI가 AI 에이전트(agent, 대리인) 기능인 ‘오퍼레이터(Operator)’를 출시했다. 전 세계 3억 명 이상의 챗GPT 사용자를 확보한 오픈AI가 AI 에이전트 기능을 선보임에 따라 관련 서비스 경쟁이 본격화할 전망이다. 오픈AI는 23일(현지시각) 오퍼레이터를 ‘연구 미리보기(research preview)’로 출시했다고 밝혔다. 별도 링크(https://operator.chatgpt.com/)를 통해 접속가능하며 미국에 거주하는 ‘챗GPT 프로(월 200달러)’ 고객에게 먼저 제공된다. 사용자 피드백을 활용해 점진적으로 제품을 개선한다는 계획이다. 오픈AI는 “앞으로 챗GPT 플러스, 챗GPT 엔터프라이즈로 사용자 범위를 확대할 것”이라며 “추후 오퍼레이터 기능을 챗GPT에 통합할 예정”이라고 밝혔다.  오퍼레이터는 사용자의 요청에 맞춰 웹 브라우저를 사용, 웹 페이지 내용을 확인하고 클릭 및 스크롤 등 필요한 동작까지 알아서 수행한다. 웹 페이지와 상호작용이 가능하기 때문에 간단한 요청으로 더 복잡한 작업을 처리할 수 있다. 

“2025년은 AI가 기업의 운영, 경쟁, 혁신 방식을 바꾸는 중요한 해(pivotal year)가 될 것입니다.”올리버 파커 구글 클라우드 AI GTM(시장 진출 전략) 부사장은 “AI는 이미 우리 삶을 바꾸고 있다”며 이같이 밝혔다.생성형 AI로 고객 경험을 개선하고 개인화된 비서로 활용, 직원의 생산성을 높일 수 있다는 것이다. 그는 이 기술을 ‘인터넷의 새로운 운영체제(OS, Operating System)’에 비유하기도 했다. 스마트폰 등장 이후 iOS, 안드로이드 기반 모바일 앱 비즈니스가 성장한 것처럼 생성 AI 기반의 새로운 비즈니스가 일어날 것이란 전망이다. 파커 부사장은 “고객사와 일하면서 AI로 비즈니스를 혁신할 수 있는 새로운 기회를 매일 발견하고 있다”며 “이 흐름을 타는 기업은 좋은 성과를 낼 수 있을 것”이라고 했다. 2025년 새로운 기회를 잡기 위해 주목해야 할 AI 비즈니스 트렌드는 무엇일까? 구글이 ‘2025 AI 비즈니스 트렌드’ 보고서를 통해 제시한 다섯 가지 주요 트렌드를 정리했다.

전진수 전 SK텔레콤 부사장은 10월 24일 대구 엑스코에서 열린 ‘트렌드쇼 2025’에서 “2025년에는 비주얼(visual, 시각적) 에이전트를 보게될 것”이라며 이같이 말했다.생성 AI 기술 기반으로 작동하는 AI 에이전트와 공간 컴퓨팅(Spatial Computing) 기술이 융합되며 영화 아이언맨에 등장하는 AI 비서 ‘자비스’처럼 눈으로 보며 상호작용할 수 있는 똑똑한 AI 비서가 등장할 것이란 관측이다. 전 부사장은 2022년 네이버 자회사 스노우 산하에 ‘슈퍼랩스’를 창업, AI 버추얼 휴먼(가상 인간), 네비어판 AI 화가 ‘라스코 AI’를 선보인 경험이 있다. SK텔레콤 재직 시에는 메타버스 서비스 ‘이프렌드’ 개발을 진두지휘했고, 그 이전에는 삼성전자 무선사업부에서 12년 동안 모바일 소프트웨어를 개발한 기술 전문가다.

정지훈 Asia2G 캐피털 파트너는 18일 '트렌드쇼 2025'에서 다섯 가지 핵심 키워드를 통해 2025년과 그 이후의 AI 트렌드를 예측했다. '확률 높은 미래'와 '가능성 있는 미래' 두 가지 형태로 AI의 방향 및 그 영향력이 전개될 것이란 관측이다. Asia2G 캐피털은 실리콘밸리에 기반을 둔 벤처캐피털(VC)이다. 한국의 스타트업을 지원해 세계로 진출할 수 있도록 돕는 게 Asia2G 캐피털의 목표다. 대구경북과학기술원(DGIST) 전기전자 컴퓨터공학과 겸임교수로도 활동하는 정 파트너는 한국을 대표하는 IT융합전문가이자 미래전략가로 꼽힌다. ✨ 정지훈 Asia2G Capital 파트너 인터뷰이날 서울 코엑스에서 개최된 국내 최고의 기술 트렌드 컨퍼런스 트렌드쇼 2025는 올해로 3회를 맞았다. 이번 트렌드쇼의 핵심 주제는 '트리플 레볼루션(Triple Revolution)'이었다.AI 부문 강연을 맡은 정 파트너는 생산성 향상과 새로운 비즈니스 모델 창출을 통해 AI가 전 산업군에 혁신을 일으킬 것으로 전망했다.

마이크로소프트는 지난 화요일(30일, 현지시각) 오후 4분기 실적을 발표했습니다.양호한 실적이었지만, 시간외 거래에서 주가는 3% 가까이 하락했습니다. 다음 거래일인 오늘(31일, 현지시각)도 주가가 1.08% 내렸죠.   주가 하락의 원인은 클라우드 부문의 실적 부진 때문이었는데요. 클라우드 비즈니스의 매출 성장 둔화와 함께, 인텔리전트 클라우드 부문 매출이 거의 2년 만에 처음으로 월가의 예상치를 하회했습니다. 반면, 금융 리스로 구매한 장비와 현금 자본 지출로 190억 달러라는 큰 금액을 투입한 것으로 확인됐습니다.구글은 어땠을까요? 구글도 양호한 실적을 기록했지만, 투자자들의 시선은 막대한 AI 투자에 쏠렸습니다. 하반기에 지난 5년 평균보다 84% 많은 지출을 할 것이라고 밝혔기 때문입니다. 이처럼 빅테크 기업들의 'AI 지출 전쟁'은 당분간 지속될 것으로 보입니다. 투자자들 사이에서 '돈을 벌지 못 하는 AI 분야에 과도한 투자가 이뤄지는 것은 아닐까'하는 불안함이 생긴 이유입니다. 시장은 생성 AI가 'AI 버블'이 될지, 아니면 진정한 '4차 혁명'이 될지 주목하고 있습니다.<CEO 포커스 29호>에서는 이런 시장 상황을 보다 정확히 파악하기 위해 2024년 상반기 생성 AI 트렌드와 차세대 지능형 멀티모달 AI 트렌드를 살펴봤습니다. 또, AI와 공존하며 잠식되지 않기 위한 통찰력을 제공하는 4권의 책도 소개합니다.

AI기술의 발전이 가속화되면서 멀티모달AI가 주목받고 있다. 멀티모달AI는 텍스트, 이미지, 비디오 등 다양한 형태의 데이터를 동시에 이해하고 처리하는 능력을 가진 AI를 말한다. 인간의 기본적인 감각은 청각, 촉각, 후각, 미각, 시각이다. 사람은 이 다섯 가지 감각을 통해 주변 세계를 인식하고 이해한다. 멀티모달 AI의 목표는 다양한 형식(텍스트, 비디오, 이미지, 오디오 등)의 데이터를 통합해 인간과 유사한 방식으로 작동할 수 있는 시스템을 만드는 것이다. 최종 목표는 인간의 감각 기관의 정보를 디지털 정보로 변환해 AI 시스템에 전달해 통제 및 사용이 가능해지는 것이다. 기기 사용의 접근성을 한층 더 증대해 사용 제한의 한계를 극복하는 방향으로 진화할 것이다.기존 AI 모델이 주로 텍스트나 이미지 등 단일 형태의 데이터에 특화돼 있었다면, 멀티모달AI는 다양한 유형의 데이터를 동시에 처리하고 이해할 수 있다. 이러한 능력은 AI가 보다 복잡하고 다양한 실제 세계의 문제를 해결하는 데 큰 도움이 될 것으로 기대된다.멀티모달AI의 장점으로는 사용자 편의성 증대, 시스템 접근성 확대 (장애인들, Field worker), 사용자 만족도 확대, 서비스 정확도 향상(다양한 형태의 크로스 체크가 가능하기 때문), 시장 선점 가능성 확장, 기반 기술의 성숙으로 인한 빠른 기술 개발이 가능한 점 등이 있다. 이 새로운 AI의 등장은 단순히 기술의 진보를 넘어 AI가 인간의 인지 과정을 더욱 정교하게 모방할 수 있게 되었음을 의미한다. 이는 AI와 인간의 상호작용을 더욱 자연스럽고 효과적으로 만들 뿐만 아니라, 다양한 산업 분야에서 혁신적인 응용 가능성을 제시한다. 멀티모달AI 시장은 이미 빠르게 성장하고 있다. 베를린에 기반을 둔 오픈소스 멀티모달 검색 엔진 스타트업인 지나AI가 예상한 AI의 미래 스펙트럼 그래프에 따르면, AI 산업이 멀티모달AI 시대에 진입했음을 알 수 있다. 또한 KBY 리서치에 따르면, 글로벌 멀티모달AI 시장은 2019년부터 2030년까지 연간 평균 32.2% 속도로 성장해 84억달러(약 11조 5684억원)에 이를 것으로 예상된다.

안녕하세요, 앞서가는 더밀크 구독자 여러분을 위한 AI 뉴스레터 [박원익의 AI인사이트]입니다. “모든 것을 가속화하라.” 지난 2일(현지시각) 대만 IT 컨퍼런스 ‘컴퓨텍스’ 기조연설에 등장한 젠슨 황 엔비디아 CEO의 발언입니다. 컴퓨팅 파워(연산 능력)를 지칭한 것이었지만, 엔비디아가 더 빠른 속도로 달리겠다는 말처럼 들렸습니다. 실제로 엔비디아는 지난 3월 미국 산호세에서 개최한 GTC 2024에서 블랙웰 아키텍처와 신형 칩을 공개한 지 3개월여 만에 차세대 아키텍처 ‘루빈(Rubin)’을 공개했습니다. 2년이던 신제품 개발 주기를 절반(1년)으로 단축한 것이죠. 이 소식에 3일(미국시간) 열린 뉴욕증시에서 엔비디아의 주가는 약 5% 올랐습니다.AI 기술·산업은 정말 빠르게 발전하고 있고, 매일 이슈가 쏟아져 ‘중요한 신호’를 파악하기 어렵습니다. 매주 화요일 발행하는 더밀크의 AI 전문 뉴스레터 ‘AI인사이트’로 중요한 신호, 의미를 놓치지 말고 확인하세요!

생성AI 기술 기반으로 독립적인 작업을 수행할 수 있는 ‘AI 에이전트’가 비즈니스를 바꾸고 있다는 라리 하말라이넨 맥킨지 수석 파트너의 분석이다. 그는 “생성 AI 기반 에이전트는 작업 과정(workflow)을 자동화할 수 있는 잠재력이 있다”고 강조했다. 실제 빅테크 및 주요 AI 업체들은 최근 ‘AI 에이전트’를 중요한 키워드로 내세우고 있다. 지난 5월 13일(현지시각)에 진행된 오픈AI의 스프링 업데이트, 14일에 열린 구글 I/O, 21일에 있었던 마이크로소프트(MS) 빌드까지 모든 행사에서 공통적으로 AI 에이전트가 언급됐다. 주요 AI 기술 업체들이 AI 에이전트를 강조하는 이유는 무엇일까? 이 트렌드 이면에서는 어떤 물밑 경쟁이 벌어지고 있을까. GPT-4 공개 후 1년가량 흐른 현재, 빠르게 변화하고 있는 생성 AI 산업의 지형도를 살펴봤다.