인공지능을 연구하는 비영리단체인 오픈에이아이(OpenAI)가 신경망을 이용해 지정한 장르, 아티스트, 가사가 들어간 노래를 생성해주는 AI인 주크박스(Jukebox)를 공개했다.
공개한 샘플 전체는 7,131곡이다. 오픈에이아이에 따르면 지금까지 기계학습으로 음악을 생성하려는 시도는 있었지만 해석하려면 악곡에 포함된 데이터 정보량이 너무 많은 게 문제였다. 이 문제를 해결하기 위해 주크박스는 음악에서 지각적으로 간련 정보를 파기하고 원시 데이터를 회선신경망으로 압축한다. 이 압축한 데이터에서 음악을 생성하고 업샘플링해 원래 음질로 복원한다.
주크박스를 교육시키려면 120만곡을 데이터세트로 이용한다. 데이터세트 음악은 가사와 아티스트, 앨범으로 구분하고 장르와 키워드 등 메타 데이터를 연결했다. 메타 데이터 등 각종 정보를 통해 주크박스는 아티스트를 장르별로 분류한다. 다이어그램을 통해 가까운 위치에 놓인 아티스트끼리는 관계가 가깝다고 분류한다. 주크박스 공식 페이지에 있는 분류표는 이 같은 관계를 말해주고 있다.
오픈에이아이 연구팀은 주크박스가 음악 품질과 일관성, 오디오 샘플 길이, 아티스트, 장르, 가사 등 능력에서 한 걸음 진전됐지만 인간이 만든 곡과는 큰 격차가 존재한다며 예를 들어 주크박스가 생성한 곡에는 전통적인 코드 패턴, 솔로 파트 등을 포함하지만 코러스 반복 등 극히 일반적인 음악 구조가 없다는 말로 주크박스의 한계가 있다는 점을 인정하고 있다.
주크박스 소스코드 등을 깃허브에도 공개되어 있다. 관련 내용은 이곳에서 확인할 수 있다.