심리스M4T

소설 ‘은하수를 여행하는 히치하이커를 위한 안내서’에 등장하는 범용 언어 번역기 ‘바벨 피쉬(Babel Fish)’가 현실화할까?’메타가 22일(현지시각) 최대 100개 언어 번역 및 ‘전사(transcript)’를 수행할 수 있는 다국어 멀티모달(Multi-Modal, 다중모드) AI 모델 ‘심리스M4T(SeamlessM4T)’를 선보였다. 오픈AI가 개발한 모델 ‘위스퍼(Whisper V2)’보다 음성-음성 번역(speech-to-speech translation), 음성-텍스트 변환(speech-to-text) 작업에서 우수한 성능을 보여준다는 게 메타 측 설명이다. 메타는 이 모델과 함께 총 27만 시간 분량의 음성 및 텍스트로 이뤄진 멀티모달 번역 데이터 세트 ‘심리스얼라인(SeamlessAlign)’도 함께 공개(CC BY-NC 4.0)했다. 심리스얼라인은 현재까지 오픈소스로 공개된 비상업용 데이터 세트 중 최대 규모를 자랑한다. AI 업계에서는 심리스M4T의 등장으로 언어의 장벽이 더 빠르게 허물어질 수 것으로 예측하고 있다.