이석원 기자
메타가 물리학적으로 올바른 추론이 가능한 AI 모델인 V-JEPA 2를 출시했다. V-JEPA 2는 현실 세계 사건을 기록한 동영상으로 훈련됐으며 주변 상황을 바탕으로 다음에 발생할 사건을 추론해 행동할 수 있는 로봇 개발에 도움이 될 것으로 보인다.
인간은 혼잡한 길에서 사람이나 장애물을 피하며 걷기, 공을 던져 낙하 지점을 예측하기 등 물리학적 사건을 직관적으로 예측하며 행동할 수 있다. 메타는 인간과 마찬가지로 물리 세계를 이해하고 자신의 행동에 대한 반응을 예측하며 행동하는 능력을 지닌 고도의 기계 지능(advanced machine intelligence : AMI) 실현을 최종 목표로 내세우고 있으며 AMI를 실현하기 위해 물리학적으로 올바른 이해·예측·계획이 가능한 세계 모델(world model) 개발을 진행하고 있다.
이번에 출시된 V-JEPA 2는 최첨단 세계 모델로 자리매김한 AI 모델. V-JEPA 2 훈련은 2단계로 나뉘어져 있다. 1단계에서는 요리가 완성되면 접시를 손에 드는 등 현실 세계 사건을 기록한 100만 시간 이상 동영상을 사용해 훈련되어 현재 상황에서 미래 상황을 추론하는 능력을 얻는 데 성공했다.
훈련 2단계에서는 로봇 팔 가동 상황을 기록한 동영상 데이터세트 DROID에 포함된 62시간 동영상을 학습해 목표 달성을 위한 행동을 계획하는 능력을 획득했다.
최종적으로 V-JEPA 2는 파라미터 수 12억 개 AI 모델이 됐다. V-JEPA 2가 한 가지 행동 계획에 필요한 시간은 엔비디아 코스모스(Cosmos) 30분의 1로 기존 모델과 비교해 압도적으로 빠른 추론이 가능하다. 또 미지의 환경에서 미지의 물체를 집어 배치하는 작업에서는 65~80%라는 높은 성공률을 기록했다.
V-JEPA 2와 기존 모델 간 성능 비교표에 따르면 V-JEPA 2는 계획, 예측, 이해 3개 분야에서 기존 모델을 상회하는 성능을 발휘했다.
V-JEPA 2 모델 데이터는 링크에서 배포되고 있다. 또 V-JEPA 2 구축에 필요한 코드 등은 깃허브 리포지토리에서 공개되고 있다.
더불어 메타는 AI 모델이 물리 세계를 얼마나 정확히 이해하고 추론할 수 있는지를 측정할 수 있는 벤치마크 3종을 공개했다. 3종과 개요를 보면 먼저 IntPhys 2. AI 모델에 중간까지는 같은 내용이지만 중간부터 한쪽은 물리적으로 올바른 움직임, 다른 쪽은 물리적으로 잘못된 움직임을 기록한 1조의 동영상을 입력해 어느 쪽이 물리학적으로 올바른 동영상인지 판단시키는 테스트다. AI 모델의 물리적으로 올바른 움직임 인식 능력을 평가할 수 있다.
2번째는 Minimal Video Pairs(MVPBench). 선택 문제를 제시해 AI 모델에 대한 물리적 이해 능력을 평가한다. 표면적인 단서나 편향에 의존하는 근시안적 해결책을 회피할 수 있도록 설계됐다. 마지막은 CausalVQA. 영상 언어 모델의 물리적 인과관계에 관한 질문에 응답하는 능력을 평가할 수 있다.
이들 3종 벤치마크는 인간이라면 85~95% 정확도로 정확히 답변할 수 있지만 V-JEPA 2를 포함한 기존 모델 정답률은 인간과 비교해 압도적으로 낮다고 한다. 메타는 이런 벤치마크에서도 높은 점수를 기록할 수 있는 AI 모델 개발을 목표로 하고 있다. 관련 내용은 이곳에서 확인할 수 있다.
한편 메타가 데이터 라벨링 서비스를 제공하는 스케일 AI에 148억 달러 투자를 계획하고 있다고 보도됐다. 메타는 이 투자 일환으로 스케일 AI 알렉산더 왕 CEO를 수장으로 하는 초지능 추구에 특화된 AI 연구소 설립을 계획하고 있다고 전해진다.
기계학습 모델 훈련에 필요한 데이터 라벨링 서비스를 제공하는 스케일 AI는 마이크로소프트와 오픈AI 등 대기업을 고객으로 두고 있다.
메타는 스케일 AI에 100억 달러 규모 투자를 계획한다고 보도된 바 있었지만 최신 보도에서는 메타가 148억 달러로 스케일 AI 지분 49%를 취득하는 데 합의했다고 전해졌다.
이번 투자 일환으로 스케일 AI CEO인 알렉산더 왕이 메타의 최고 간부가 되어 메타 마크 저커버그 CEO가 계획하는 초지능 연구소를 이끌게 될 것으로 보도됐다.
초지능은 AI 개발 미래 목표로 여겨지며 오픈AI와 구글 등의 AI 연구자들은 당면 목표로 범용 인공지능(AGI) 구축을 제시하고 있다. 다만 보도에선 AGI에 대해 명확한 성공 경로가 보이지 않는 야심적인 목표라고 지적했다. 하지만 초지능이 개발된다면 그 능력은 AGI를 훨씬 뛰어넘을 것이라고 전해진다.
메타 계획에 정통한 인물에 따르면 메타는 AI 시장 경쟁에서 경쟁력을 유지하기 위해 분투하고 있으며 초지능 추구에 특화된 새로운 AI 연구소를 계획하고 있다고 한다. 저커버그 CEO는 이 연구소 설립을 위해 최고 수준 AI 연구자를 적극적으로 채용하고 있는 것으로 알려졌다.
메타는 스케일 AI 왕 CEO를 새 AI 연구소 수장으로 맞아들이고, 다른 스케일 AI 직원도 메타로 영입할 계획이라고 한다. 또 메타는 오픈AI와 구글 등 대형 AI 기업 AI 연구자를 영입하기 위해 7자리에서 9자리 보상 패키지를 제시하고 있는 것으로 전해진다. 이미 일부 AI 연구자가 메타로의 이직에 동의했다고 한다.
관계자에 따르면 메타가 계획하는 새 AI 연구소는 동사 AI 사업의 대규모 재편 계획 일환이라고 한다. 관계자는 페이스북, 인스타그램, 왓츠앱을 보유한 메타는 AI 기술을 둘러싼 사내 경영진 갈등, 직원 이탈, 제품 출시 실패에 시달려왔다고 전했다.
AI 업계 경쟁은 치열하며 메타, 구글, 아마존, 마이크로소프트 등 대형 기술 기업이 거액 투자를 지속하고 있다. 마이크로소프트는 오픈AI에 130억 달러 이상을 투자했으며 아마존은 AI 스타트업 앤트로픽에 80억 달러를 투자했다.
대기업은 유명 스타트업에서 인재를 채용하고 있으며 해당 기술 라이선스를 취득하기 위해 수십억 달러를 투자해왔다. 구글은 라이선스 취득 및 기술자 영입을 위해 캐릭터 AI에 30억 달러를 지불하기로 합의했다.
메타는 AI 분야에서 경쟁력을 높이기 위해 소프트웨어를 오픈소스로 공개해왔다. 하지만 최근 메타 AI 전략 핵심인 오픈소스 대규모 언어모델 라마(LLaMA) 원래 개발팀에 소속된 AI 연구자 14명 중 11명을 경쟁사에 빼앗겼다는 지적이 나오고 있다. 이런 상황에서 메타는 왕을 새 AI 연구소 수장으로 영입해 그가 AI 업계 경쟁에서 메타를 다시 선두 자리로 돌려놓는 데 도움이 되기를 기대하고 있다. 관련 내용은 이곳에서 확인할 수 있다.
이원영 기자
정용환 기자
