메타가 지난 8월 공개한 AI인 심리스M4T(SeamlessM4T)는 음성을 입력하면 문자화하거나 다른 언어로 번역해서 입혀준다. 메타는 11월 30일 심리스M4T 개선 버전인 심리스M4T v2를 발표했다. 심리스M4T v2는 심리스M4T 성능을 높였을 뿐 아니라 감정과 스타일을 유지하면서 다른 언어로 바꿔줄 수 있다.
메타에 따르면 이번에 발표된 심리스M4T v2는 화자 감정이나 표현 스타일을 유지하면서 언어로부터 다른 언어로 번역을 실시하는 모델인 심리스익스프레시브(SeamlessExpressive)라는 화자가 말하는 도중에 번역을 해 다른 언어 화자와의 실시간 대화가 그낭할 만큼 지연을 줄인 모델인 심리스스트리밍(SeamlessStreaming) 2종류 모델로 이뤄져 있다고 한다. 메타는 심리스M4T v2에 대해 표현력이 풍부한 크로스 링거 커뮤니케이션을 실시간으로 실현할 수 있는 첫 시스템이라고 자평하고 있다.
메타가 공개한 심리스M4T v2 데모 영상을 보면 영어로 말하는 여성 목소리를 거의 같은 음색 스페인어로 바꿔준다. 불어로 말하는 남성 목소리 역시 마찬가지로 영어로 바꿀 수 있다. 심리스M4T v2 데모는 여기에서 확인해볼 수 있다. 현재는 영어, 스페인어, 프랑스어, 독일어만 지원한다.
처리할 수 있는 읽기 시간은 최대 10초다. 10초가 지나면 자동으로 처리된다. 처리가 끝나면 표현력을 높여 음성과 표현력을 높이기 전 음성, 원래 음성 3종이 제시된다. 심리스M4T v2는 로컬에 설치하고 실행할 수도 있다. 관련 내용은 이곳에서 확인할 수 있다.