“강화학습 강화” 보스턴다이내믹스, 비영리 연구기관 맞손

이족보행 인간형 로봇 아틀라스(Atlas) 개발로 유명한 보스턴다이내믹스가 강화학습을 통해 아틀라스를 더 진화시키기 위해 비영리단체 RAI인스티튜트(Robotics & AI Institute)와 제휴를 발표했다. RAI인스티튜트는 30년간 보스턴다이내믹스 CEO를 역임한 마크 레이버트가 2022년 설립한 단체다.

발표에 따르면, 보스턴다이내믹스는 RAI인스티튜트와 공동으로 새로운 아틀라스를 위한 공유 강화학습 트레이닝 파이프라인을 구축하고 동적이고 일반화가 가능한 이동 조작 행동을 구축하는 프로젝트를 2025년 2월부터 시작했다고 한다.

보스턴다이내믹스와 RAI인스티튜트는 이전부터 사족보행 로봇 스팟(Spot) 강화학습 키트 공동개발을 진행해왔다. 스팟 대상 키트에서는 18.5km/h로 달리게 하는데 성공했다. 아틀라스에 초점을 맞춘 이번 프로젝트는 3가지 목적이 설정됐다.

첫째 로봇을 위한 심투리얼(Sim to Real) 개발. 고속 병렬 시뮬레이터와 정교한 제어 최적화 기술이 있음에도 불구하고 시뮬레이션 결과를 실제 하드웨어에 적용하는 건 로봇공학에서 가장 어려운 측면 중 하나라고 한다. 이 시뮬레이션과 현실간 격차를 메우기 위해 양사는 공동으로 물리적 하드웨어상에서 다양한 민첩한 동작을 수행하는 정책을 훈련하고 혁신적이고 강건하며 실용적인 이동 동작의 실현을 목표로 하고 있다.

둘째 전신 이동 조작 개선. 이동과 연동해 문이나 레버 같은 물체를 조작하는 능력이 있다면 로봇 유용성은 높아진다. 팀은 이런 사례에서의 안정성을 높이는 정책 개발을 진행하기로 했다.

셋째 전신운동 전략 탐구. 예를 들어 힘차게 달리기나 중량물 다루기 같은 팔부와 다리부의 긴밀한 연계가 필요한 전신운동 전략이 필요한 태스크와 고도의 전신 이동에 대한 탐구를 진행한다. 이 목적은 강화학습을 이용해 엄격한 요건을 부과하지 않고 복잡한 접촉 이벤트 중에 그런 행동을 생성하는 것이라고 한다.

보스턴다이내믹스 로버트 플레이어 CEO는 인간형 로봇 개발에 있어 흥미진진한 시대에 살고 있지만 인간형 로봇이 유용하려는 다양한 환경에서 작동하고 다양한 용도로 태스크를 수행할 수 있을 만큼의 유연성이 필요하다고 밝혔다. 이어 RAI인스티튜트와의 제휴는 세계 유수 2개 로봇공학 조직이 힘을 합쳐 아틀라스와 같은 로봇을 사람들의 생활 속에서 가치 있는 것으로 만드는 데 필요한 핵심 능력 강화를 지원하는 것이라고 말했다. 관련 내용은 이곳에서 확인할 수 있다.