테크레시피

사족보행로봇에 강화학습 적용하니…

애니멀(ANYmal)은 스위스 취리히공대 로봇과학연구소가 개발한 사족 보행 로봇이다. 사이언스로보틱스에 발표한 새로운 논문에 따르면 이 로봇은 기존보다 빨리 움직일 수 있도록 훈련하는 시스템을 갖췄고 자력으로 일어나서 훈련할 수 있다고 한다.

애니멀은 개처럼 생긴 로봇으로 지난 2016년 설립한 기업인 애니로보틱스(ANYbotics)가 수색 구조용으로 당초 만든 것이다. 방수 가공 처리를 해 숲이나 눈 덮인 곳 등 교통이 나쁜 상황에서도 이동할 수 있도록 설계했다. 수색 임무를 포함해 인간이 갈 수 없는 위험한 장소에도 대신 갈 수 있다. 물론 이 로봇 자체는 아직 개선의 여지도 많다.

취리히공대 연구팀은 잠재적 해결책 중 하나로 머신러닝의 일종인 강화학습을 택했다. 도보 같은 작업 실행을 위한 최선책을 찾기 위해 로봇은 시행착오를 거쳐 스스로 훈련할 수 있다. 강화학습을 적용한 로봇은 자체적으로 마치 동물처럼 생각하듯 배울 수 있다는 것이다. 물론 실제 다리를 가진 로봇은 움직임이 복잡해 강화학습을 적용하는 건 쉬운 일이 아니다. 따라서 지금까지는 로봇 학습을 위한 컴퓨터 시뮬레이션을 주로 해왔다. 문제는 시뮬레이션 데이터를 실제 로봇에 적용하는 것도 쉽지 않다는 것이다.

연구팀은 시뮬레이션 데이터를 이전보다 더 쉽게 로봇으로 적용할 수 있는 신경망을 개발했다. 그 결과 시뮬레이션을 실제 적용하는 것보다 1,000배 가까이 빠르게 적용할 수 있었다고 한다. 시뮬레이션을 수행하기 위한 PC를 필요로 할 뿐이어서 비슷한 시스템 실현을 위한 컴퓨팅 능력도 크게 요구하지 않는다고.

새로 훈련한 애니멀은 더 빠르고 효율적이며 걷는 기록도 25% 이상 상회하는 성적을 나타냈다고 한다. 자력으로 일어설 수 있는 능력은 비슷한 복잡성을 가진 다른 사족보행로봇에선 볼 수 없던 것이라고 한다.

연구팀은 이 기술을 이용하면 다른 로봇에도 적용이 가능할 것으로 보고 있다. 다만 다양한 환경에 적용하려면 추가 훈련이 필요할 것이라고 한다. 논문에서 제시한 건 평탄한 지형만을 대상으로 하지만 언덕이 많은 지형이라면 시각 센서와 이에 대응하는 적절한 정책 정보를 추가 처리해야 한다. 관련 내용은 이곳에서 확인할 수 있다.

이석원 기자

월간 아하PC, HowPC 잡지시대를 거쳐 지디넷, 전자신문인터넷 부장, 컨슈머저널 이버즈 편집장, 테크홀릭 발행인, 벤처스퀘어 편집장 등 온라인 IT 매체에서 '기술시대'를 지켜봐 왔다. 여전히 활력 넘치게 변화하는 이 시장이 궁금하다.

뉴스레터 구독

Most popular