문장 입력만으로 현실적 영상을 생성할 수 있는 오픈AI 새로운 AI 도구인 소라(Sora)는 현실 세계에서 촬영한 것 같은 품질로 화제를 모았다. 소라는 영상을 만드는 도구로 상당한 성능을 내지만 아직까지 음향은 낼 수 없다. 여기에서 개발되는 게 바로 효과음도 AI로 만들어버리겠다는 것.
일레븐랩스(ElevenLabs)가 개발하는 AI 사운드 이펙트(AI Sound Effects)로 오픈AI가 발표한 영상에 AI 생성 소리를 추가할 수 있다. 로봇 기계음이나 번잡한 거리, 타이핑음 등이 가능하다. 일레븐랩스는 2022년 전 구글 기계학습 엔지니어 출신이 설립한 기업이다. 텍스트 문장을 29개 언어로 번역해 읽어주는 제너레이티브 보이스 AI(Generative Voice AI)를 운영하는 기업으로 게임이나 이야기 읽기와 듣기 등 용도에 따라 연기력이 수반되는 음성도 만든다.
기존 영상을 올리면 자동 번역해 다른 언어로 말하는 도구도 있다. 자신의 목소리도 녹음하면 다른 사람 목소리로 변환되기도 하다. AI 음성 번역이 엔터테인먼트 방면에도 사용할 수 있다는 건 재미있는 응용이 될 수 있지만 소라가 나왔기 때문에 더 주목받을 수 있다.
AI 사운드 이펙트는 곧 출시로 알려졌지만 자세한 사항은 아직 불명이다. 관련 내용은 이곳에서 확인할 수 있다.