자가 학습으로 걸음걸이 배우는 로봇?

초식동물은 천적으로부터 자신을 보호하기 위해 태어나자마자 일어서서 몇 시간 뒤에는 걷기 시작한다. 구글은 사람의 손을 빌리지 않고 자기 학습만으로 일어나서 걷기 시작하는 AI 로봇을 개발하고 있다. 자율주행 차량으로 대표되는 자율 동작하는 기계는 실용화 단계에 가까워지고 있지만 이들이 이용하는 AI는 미리 학습한 걸 이용한다. 반면 누구의 도움 없이 스스로 행동 패턴을 학습하는 알고리즘은 아직 일반적이지 않다. 구글 연구팀은 새로운 프로젝트를 통해 이런 자기 학습 능력을 가진 로봇 개발에 주력하고 있다.

사족보행 로봇은 아무 것도 모르는 상태에서 2∼3시간 안에 전후 방향으로 걸을 수 있고 좌우로 방향 전환도 습득할 수 있다고 한다. 로보틱스앳구글(Robotics at Google) 팀은 1년 전 기존 알고리즘 조정을 통해 학습을 가능하게 하는 방법을 발견했다.

로봇 강화학습을 할 때 자주 사용하는 건 컴퓨터에서 가상 환경을 모델링하고 이곳에서 가상 로봇을 움직여 어느 정도 학습시킨 다음 실제 로봇 알고리즘으로 옮기는 것이다. 따라서 프로토타입 단계 로봇을 물리적으로 망가뜨릴 가능성을 줄일 수 있다. 단지 가상 환경일 뿐이어서 실제 자연처럼 경사지나 울퉁불퉁한 지면, 모래 등을 그대로 재현하기 어려워 AI를 단련시키는 단계에선 많은 수고와 시간을 감수해야 한다.

연구팀은 처음부터 현실 환경에서 로봇 알고리즘을 단련시켰다. 적은 시도와 실패를 통해 효율적으로 학습할 수 있도록 알고리즘은 개선했다. 그 결과 이 로봇은 2시간 만에 스스로 일어나 주위를 걸을 수 있게 됐다.또 물리적 단차 계단이나 경사 요철 등 변형 환경에 대한 대응도 더 빨라졌다. 하지만 복잡한 지형의 경우에는 그냥 일어나서 걷는 것과 달리 몇 번이나 인간 보모 역할을 할 필요가 있었다고 한다.

그래서 연구팀은 로봇이 여러 종류 지형 걷기를 한꺼번에 학습할 수 있도록 주위를 벽으로 둘러싸인 모형 정원을 만들었다. 로봇은 벽에 막히면 스스로 방향을 바꿔 다시 걷기 시작하는 등 학습 효율이 높아졌다.

또 로봇이 미지의 지형에 대한 행동 시도 방법에 대해서도 아무래도 처음 시도할 때 실패할 수 있기 때문에 로봇이 전도됐을 때 다시 일어설 수 있도록 하기 위해 하드코딩한 알고리즘도 더했다. 이런 조정을 더한 결과 로봇은 결국 사람 관여 없이 평지에서 매트리스 틈이 많은 매트까지 다양한 지면을 학습하고 자율적으로 걷는 방법을 습득했다고 한다. 이는 미래에는 로봇을 더 편리하게 하기 위한 중요한 이정표라고 할 수 있다. 하지만 현재 이 로봇은 지형을 알기 위해 마킹한 개체를 이용한 모션캡처 시스템을 이용하고 있는데 이는 실제 현실 세계에는 적용할 수 없다.

그럼에도 불구하고 연구팀은 연구를 통해 얻은 새로운 알고리즘을 다양한 로봇에 적용해 각 분야에서 활약할 로봇공학 지식을 쌓으려 한다. 우리가 아는 환경 대부분은 인간에 의해 구축됐고 인간은 발로 보행한다. 따라서 로봇도 다리를 써야 인간 세상을 걸을 수 있다는 게 연구팀의 연구 이유다. 관련 내용은 이곳에서 확인할 수 있다.