음악사 바뀔까…머신러닝으로 새로운 음색을

프로젝트 마젠타(Project Magenta)는 지난 2016년 구글이 진행을 시작한 머신러닝 프로젝트다. 구글 내 딥러닝 연구 프로젝트인 구글브레인(Google Brain)이 인공지능을 활용해 음악과 영상, 예술 분야에서 오리지널 작품 그러니까 인공지능이 소프트웨어 신디사이저를 이용해 기존 음악과는 중복되지 않는 독창적인 걸 만들겠다는 것이다. 모사가 아닌 창조의 영역을 예술까지 넓히겠다는 것.

마젠타는 인공지능 시스템을 통해 완전한 오리지널 음악이나 회화, 영상 생선을 목표로 한다. 당시 발표에 따르면 인공지능에 대한 학습은 구글이 2015년 공개한 바 있는 머신러닝 엔진인 텐서플로우(TensorFlow)를 쓴다.

인공지능이 새로운 예술 작품을 창조하는 건 간단한 작업이 아니다. 학습 결과는 기존에 있던 예술가나 음악가의 스타일을 그대로 복제한다는 문제가 있다. 마젠타 초기에는 텐서플로우를 통해 미디 파일 형식 악곡 데이터를 가져오는 작업을 진행하지만 당시에도 인공지능이 어떤 음악을 만들어낼 수 있는지를 보여주는 데모를 공개하기도 했다.
데모 음악이 물론 사람들에게 감동을 줄 만한 수준에 도달했다고 말하기는 어려웠다. 사실 구글 측도 당분간 예술 분야에서 인공지능이 사람을 넘어서기는 어렵다는 사실을 인정한다. 구글은 딥드림(DeepDream) 같은 걸 개발해 악몽을 떠올리게 하는 이미지를 생성하는 인공지능을 선보이기도 했지만 충분히 훈련된 데이터를 바탕으로 한 인공지능이 음악이나 다른 예술 분야에서 어떤 오리지널리티를 가져갈 수 있을지는 관심을 모으기에 충분하다.

마젠타가 계획대로 이런 독창성을 예술 분야와 접목한 결과물로 낼 수 있게 된다면 어떤 변화가 생길까. 예를 들어 웨어러블 기기 센서를 통해 사용자가 스트레스를 받고 있다는 걸 감지하게 되면 인공지능이 알아서 편안한 음악을 만들어 재생해주는 식이 가능할 수도 있다.

그런데 이런 프로젝트 마젠타의 현재를 알 수 있는 게 나와 눈길을 끈다. 컴퓨터 머신러닝 기술을 이용해 기존과는 전혀 다른 소리를 만들 수 있는 신디사이저인 엔씽크 슈퍼(NSynth Super. https://nsynthsuper.withgoogle.com/)를 개발 중인 것. 이 신디사이저는 다양한 음색이 내는 고유 특징을 머신러닝으로 이해해 새로운 소리를 만들어낼 수 있다. 예를 들어 플롯과 스네어 드럼의 특징을 한데 합친 아예 다른 소리를 만들 수도 있는 식이다.

엔씽크 슈퍼는 사방 20cm 크기 정도인 제품이다. 연주용 건반이 없는 음원 모듈로 내부에는 소리를 만들기 위한 데이터를 저장하고 있다. 터치 센서와 디스플레이를 갖춰 손가락으로 조작하게 된다. 디스플레이 모서리 부분에는 악기명이 적혀 있는데 악기를 4개 지정해서 합성, 새로운 음색을 만든다. 물론 건반은 없지만 외부 건반 키보드와 연결, 미디 케이블로 입력 받은 연주 정보를 바탕으로 실시간으로 음색을 생성, 소리를 만들 수 있다. 또 본체 모서리 부분에는 큰 다이얼이 있어 음색을 할당할 수 있다.

이 제품은 16가지 음색을 컴퓨터를 통해 머신러닝으로 학습하도록 해 각각 특징을 데이터화했다. 연주할 때에는 앞서 밝혔듯 악기 4가지를 선택, 합성할 수 있다. 하지만 단순히 소리 4개를 믹서로 혼합하는 건 아니다. 감각적으로 음색 요소를 분해, 분자 수준에서 결합해 아예 새로운 소리를 실시간으로 만드는 것이다.

이 제품은 손가락을 이용해 악기 4개의 균형감을 조절하고 생성한 소리를 아날로그 신디사이저처럼 바꿀 수 있다. 다이얼을 통해 매개 변수를 바꾸는 식으로 음색을 특징짓게 되며 소리 파형으로 이용하는 부분을 조절할 수도 있다.
이 제품은 앞서 밝힌 프로젝트 마젠타의 일환으로 개발 중인 것이다. 마젠타는 신경망을 이용해 소리를 만들어낸다. 여기에서 만드는 소리는 기존 소리를 그냥 재현하는 게 아닌 새로운 악기를 이용해 만드는 새로운 소리다. 구글 개발팀은 신경망을 이용한 신디사이저 알고리즘인 엔씽크를 먼저 개발했고 다양한 음색을 학습하도록 해 여러 음색을 결합할 수 있게 한 것이다. 이렇게 만들어낸 음색은 일반 세상에선 실현할 수 없는 것이라고 할 수 있다.

엔씽크 슈퍼가 등장한 이유는 프로젝트 마젠타를 진행할 때 필수 격인 처리와 학습을 위해선 고도의 기술을 요하는데 이를 뮤지션이 하기 어렵다는 점 때문이다. 이런 차이를 극복하고 뮤지션의 상상력을 높여주기 위해 지금까지 없던 소리를 만들 수 있는 제품을 선보인 것이다.

엔씽크 슈퍼는 음악이 진화해온 역사 자체가 악기, 그러니까 장비 진화사와 함께 해왔다는 점에서 프로젝트 마젠타에 활력을 불어넣어줄 도구가 될 수 있다. 다양한 현악기나 타악기, 건반 악기가 발명되고 최근에는 전자악기가 등장해 새로운 소리를 만들고 이에 따라 새로운 음색이 계속 태어나왔던 것. 이젠 소리를 만들어내는 개념 자체를 바꾸려는 악기가 등장한 만큼 어떤 변화를 이끌어낼지 관심이 모아진다.