2017년 구글 연구원이 발표한 기계 학습 아키텍처인 트랜스포머(Transformer)는 GPT-4와 Llama와 같은 대규모 언어 모델 구축에 중요한 역할을 했다. 구글은 트랜스포머를 사용해 사용자 행동에 기반한 더 높은 정확도 음악 추천 시스템을 구축할 수 있다고 밝혔다.
음악 구독 서비스인 유튜브 뮤직이나 애플 뮤직에는 방대한 곡이 수록되어 있지만 사용자 1명이 많은 곡을 듣고 자신의 취향에 맞는 곡을 찾는 건 어렵다. 이때 중요한 게 바로 사용자 취향에 맞는 음악 추천 시스템. 사용자가 선호하는 곡을 잘 추천하면 사용자는 더 오랜 시간 동안 음악을 듣게 되고 플랫폼 이용이 증가하게 된다.
보통 음악 구독 서비스 추천 시스템은 사용자가 이전에 들었던 곡 경향 외에도 추천된 곡에 대한 사용자 반응”을 중요하게 고려한다. 사용자가 어떤 곡을 추천받았을 때 즉시 스킵하면 유사한 곡도 선호하지 않을 가능성이 높고 해당 곡을 듣고 즐겨찾기에 추가하거나 같은 아티스트 다른 곡을 들으면 유사한 곡을 선호할 가능성이 높다.
하지만 사용자가 선호하는 곡이 항상 고정적인 건 아니며 상황에 따라 듣고 싶은 곡이 달라질 수도 있다. 예를 들어 주로 느린 템포 곡을 좋아하는 사용자가 빠른 템포 곡을 추천받으면 스킵할 가능성이 높지만 헬스장에서 운동 중일 때는 평소보다 빠르고 에너지가 넘치는 곡을 선호할 수 있다.
일반적인 사용자는 수백 가지 행동을 실행하며 이들 행동에는 적게 실행된 것부터 많이 실행된 것까지 다양하다. 훌륭한 추천 시스템을 만들기 위해서는 이런 다양한 크기 데이터를 유연하게 처리할 필요가 있다.
기존 모델도 사용자 행동 및 상황 데이터를 수집해 그에 기반해 사용자 요구에 맞는 곡 순위를 매기고 추천할 곡을 필터링할 수 있었다. 하지만 어느 행동이 사용자 현재 요구와 관련이 있는지 파악하는 게 어려워서 행동 문맥을 추천에 잘 반영하지 못했다.
구글은 이런 다양한 입력 데이터를 처리하는 데 트랜스포머가 적합하다고 주장한다. 트랜스포머는 입력 텍스트가 모호한 경우에도 번역이나 분류 작업에서 뛰어난 성능을 발휘할 수 있다. 이를 음악 추천 시스템에 응용하면 상황에 따른 행동 중요도를 판별하고 가중치를 조정할 수 있다.
이미 구글은 유튜브 뮤직 추천 시스템에 트랜스포머를 활용하고 있다. 구글은 트랜스포머와 기존 순위 매김 시스템을 결합해 사용자 행동과 청취 이력을 최적화한 순위를 만들어내고 있다고 설명했다.
구글이 진행한 오프라인 분석과 라이브 실험 결과, 음악 추천 시스템에 트랜스포머를 사용하면 순위 모델 성능이 크게 향상되며 스킵률이 감소하고 사용자가 음악을 듣는 시간이 증가하는 것으로 나타났다.
구글은 앞으로 검색 모델 등 다른 추천 시스템에도 이 방법을 적용하고 기타 요소를 음악 추천 시스템에 통합해 성능을 향상시킬 계획을 갖고 있다. 관련 내용은 이곳에서 확인할 수 있다.