전 세계에서 인터넷에 연결할 수 없는 곳이 많다. 이런 장소에 인터넷 환경을 제공하기 위해 스페이스X는 스타링크(Starlink)를 위해 인공위성을 발사하거나 페이스북이 2아프리카(2Africa)를 통해 해저 케이블을 설치하려 한다. 구글은 열기구로 인터넷 환경을 제공하는 프로젝트 룬(Project Loon)을 2015년부터 계속하고 있는데 강화학습을 이용한 AI 개발을 통해 프로젝트가 크게 진전했다고 발표했다.
구글은 열기구를 날려 인터넷 환경을 제공하려는 시도를 2015년부터 계속하고 있다. 하지만 열기구는 기후 변화와 거친 지형 영향을 받아 진로가 변덕스럽고 지상 기지국으로부터 일정 거리에 열기구를 날리는 걸 계속하는 건 극히 어려운 일이었다.
이런 이유로 룬 개발팀은 열기구 진로를 일정하게 유지하는데 도움이 되는 스테이션시커(StationSeeker)라는 알고리즘을 개발했고 개발팀은 시뮬레이션을 이용해 열기구를 조작하는 방법을 비행 제어 시스템에 학습시켰다.
룬 최고 기술 책임자인 살 칸디도(Sal Candido)는 스테이션시커는 심층 강화학습을 이용하고 있지만 당초 성층권을 장기간에 걸쳐 자율적으로 표류, 고고도 플랫폼에 대한 심층 강화학습을 실용 수준에 사용할 수 있는지 알 수 없었다고 밝히고 있다. 강화학습은 시행착오를 통해 컴퓨터에 학습시키는 방법으로 룬은 어던 결정을 할 것인지에 초점을 맞추고 있다. 그 후 실험을 반복한 결과 스테이션시커는 다양한 고도에서의 풍속과 풍향을 정확하게 예측하고 예측에 따라 열기구 고도를 조정 가능하다는 걸 발견했다.
살 칸디도는 인터넷을 필요로 하는 사람을 위해 상공에서 열기구 네트워크를 유지하는 건 어려운 일이라면서 강화학습은 열기기가 어떤 상황에 있는지, 체재하기 위해 얼마나 많은 에너지를 필요로 하는지, 손에 휴대전화를 가진 사람에 의해 열기구가 할 최선의 선택은 무엇인지에 대해 도움을 주고 있다고 밝혔다.
확실한 신호를 송수신하기 위해선 열기구에서 지상 기지국까지 48km 이내에 체재할 필요가 있지만 새로운 알고리즘을 통해 열기구는 이전보다 길게 연결을 유지하면서 올바른 좌표로 돌아갈 수 있게 된 것. 지난 10월 룬은 312일 이상 연속 비행을 실시했지만 이는 스테이션시커 덕분이라고 한다.
지금까지 룬 개발팀은 수동으로 알고리즘을 설계하고 있었지만 스테이션시커는 이를 더 향상시켰다고 설명했다. 스테이션시커는 이런 종류 AI 시스템은 상용 항공 우주 시스템에서 처음 배포된 것으로 강화학습이 계속 동적 활동을 하는 복잡한 실제 시스템을 제어하는데 도움이 된다는 증거라고 밝히고 있다. 관련 내용은 이곳에서 확인할 수 있다.