영상만 보고 요리 재현하는 로봇 셰프

케임브리지대학 연구팀이 여러 레시피를 배운 로봇에 그 중 한 가지 레시피에 관한 요리 영상을 보여주면 해당 레시피를 재현해 요리를 실시하는 로봇 요리사를 개발했다. 또 이 로봇 요리사는 레시피 재현 뿐 아니라 오리지널 레시피를 고안한 것으로 보고됐다.

다른 사람이 요리를 하는 모습을 관찰하거나 요리 영상을 보면서 새로운 레시피를 배울 수 있는 인간과 달리 여러 레시피를 배우면서 요리를 만들게 로봇을 프로그래밍하는 건 상당히 많은 비용과 시간이 걸리는 것으로 알려져 있다.

케임브리지대학 연구팀은 8가지 간단한 샐러드 조리법을 고안해 요리 영상을 만들었다. 이후 브로콜리와 당근, 사과, 바나나, 오렌지 등 야채와 과일을 포함한 다양한 개체를 개별 인식하는 오픈소스 신경망을 이용해 로봇 요리사 학습을 실시했다. 로봇 요리사는 디지털 영상을 이해하는 컴퓨터비전 기술을 응용해 요리 영상 프레임을 분석해 식칼과 재료 뿐 아니라 인간 팔과 손, 얼굴 등 다양한 개체와 특징적 행동을 식별하는데 성공했다. 식별 과정에서 학습된 레시피와 영상이 모두 벡터로 변환되고 로봇은 이런 벡터에 대해 수학적 연산을 수행해 요리 영상과 벡터간 유사성을 평가한다.

연구팀은 인간이 손에 든 재료와 행동을 올바르게 식별해 로봇 요리사는 8가지 요리법 중 어떤 요리가 진행 중인지 판단할 수 있었다고 밝혔다. 로봇 요리사 실험에선 인간이 한 손에 칼을 갖고 다른 손에 당근을 든 요리 영상을 로봇이 관찰하면 인간 행동을 해석하고 이해해 요리 영상에서 요리되는 특정 조리법을 식별하는데 성공했다.

연구팀에 따르면 로봇 요리사가 시청한 16개 요리 영상 중 로봇 요리사는 인간 행동 중 83% 밖에 검출하지 않았지만 93%라는 고정밀도로 올바른 레시피를 식별했다. 또 같은 레시피에서도 영상 중 인간이 실수를 한 경우에도 각각을 다른 새로운 레시피로 간주하지 않고 모두 같은 레시피로 판단했다고 한다.

더구나 연구팀이 로봇 요리사에 대해 학습한 레시피에 없는 새로운 9번째 샐러드 레시피 요리 영상을 학습시키자 로봇은 이 레시피를 올바르게 재현하는데 성공했다. 연구팀이 사용한 요리 영상은 컷 편집이나 시각 효과 등을 포함한 일반 요리 영상과 달리 재료를 명확하게 로봇에 제시하고 이게 뭔지 인식할 수 있는 영상을 이용했다. 로봇 요리사는 유튜브 같은 소셜미디어에서 인기인 요리 영상을 인식하기는 어렵다. 한편 로봇 요리사가 영상 재료를 더 선명하고 빨리 식별할 수 있게 된다면 앞으로 유튜브 등 사이트를 사용해 다양한 레시피를 학습하게 될 가능성도 있다.

이번 연구 보고에 따라 세상에 넘쳐나는 요리 영상 콘텐츠가 요리 자동화를 위한 소중한 데이터 소스가 될 가능성이 생긴 셈이다. 관련 내용은 이곳에서 확인할 수 있다.