대규모 양자화학 데이터세트 출시한 메타‧Llama4 베헤모스는 출시 난항?

메타 FAIR(Fundamental AI Research) 팀과 여러 연구기관으로 구성된 공동연구팀이 대규모이며 고정밀 양자화학 데이터세트인 OMol25(Open Molecules 2025)와 이를 기반으로 학습한 AI 모델 UMA(Universal Model for Atoms)를 발표했다.

OMol25는 분자화학 분야 기계학습 모델 개발과 평가를 목적으로 밀도범함수이론(DFT)을 통한 1억 건 이상 단일 분자 구조에 대한 계산 결과를 수록한 데이터세트다. 최대 350원자 분자 샘플을 비롯한 8,300만 종류 고유 분자 구조와 83종류 원소 정보를 포함한 다양한 분자계가 수록되어 있으며 계산에는 ‘ωB97M-V/def2-TZVPD’라는 고정밀 방법이 채택됐다.

또 OMol25에는 체계적인 평가를 위해 에너지, 힘, 스핀, 전하, 궤도 에너지, 포크 연산자, 전자 밀도 등 다양한 물리량이 수록되어 있으며 각 구조에 대해 상세한 화학적 정보가 부여되어 있다.

데이터는 바이오 분자, 금속 착체, 전해질, 기존 커뮤니티 데이터세트 재계산을 포함한 여러 영역으로 분류되어 있으며 각각에 적합한 구조 생성법과 분자 동역학 방법이 적용됐다고 한다. 더불어 리간드 결합 에너지와 구조 재최적화 등 분자 모델링에서의 실용적인 벤치마크 태스크가 정의되어 있으며 이를 기반으로 한 모델 평가도 이뤄졌다.

OMol25 구축에는 60억 코어 시간이 소요됐으며 메타 내부 클라우드 자원을 활용한 대규모 분산 계산을 통해 실현됐다고 한다. 데이터는 학술 이용과 상업적 이용 모두를 고려해 오픈 라이선스로 공개됐다.

UMA는 이 OMol25를 포함해 지난 5년간 메타 FAIR가 공개한 모든 데이터세트를 학습 데이터로 사용해 구축된 대규모이자 범용적인 원자간 포텐셜 모델 그룹으로 화학과 재료과학 다양한 분야에서 원자 수준 특성과 행동을 고정밀하고 고속으로 예측할 수 있다. 현재는 모델 규모에 따라 UMA-small과 UMA-medium 두 종류가 공개됐다.

UMA는 분자, 재료, 촉매 등 화학 여러 영역을 횡단적으로 다루는 걸 목표로 하며 50억 개 이상 원자를 포함하는 3D 구조를 훈련 데이터로 사용해 구축됐다. 그 중에서도 모델 아키텍처에는 ‘Mixture of Linear Experts’라는 새로운 구조가 채택되어 계산 효율을 손상시키지 않으면서 모델 용량을 확장할 수 있게 했다고 한다.

예를 들어 UMA medium 모델은 전체적으로 14억 파라미터를 갖고 있지만 1개 구조당 계산에 사용되는 파라미터 수는 5,000만 개로 억제됐다. 이로 인해 UMA는 대규모 모델임에도 추론 속도가 상당히 빠르다.

UMA는 사전 학습만으로 파인튜닝 없이 다양한 화학 태스크에 대응 가능하다는 게 확인됐으며 기존 특화형 모델과 동등하거나 그 이상 성능을 보인다고 보고됐다. 이를 통해 분자 특성 예측, 재료 설계, 촉매 개발, 에너지 저장, 반도체 제조 등 광범위한 응용 분야에서 빠르고 정밀한 계산이 가능해진다.

UMA는 코드, 학습된 모델, 관련 데이터가 모두 공개되어 있어 연구자와 기술자가 자신의 계산 워크플로에 자유롭게 통합할 수 있다. 앞으로 원자 수준 모델링 가속화에 기여할 기반 모델로서 자리매김할 것으로 기대된다. 관련 내용은 이곳에서 확인할 수 있다.

한편 메타는 지난 4월 5일 Llama 4 시리즈를 발표할 당시 시리즈 최상위 모델로 Llama 4 베헤모스(Behemoth)가 존재한다고 밝혔다. 하지만 Llama 4 베헤모스 개발이 난항을 겪고 있으며 출시 예정 시기가 2025년 가을까지 연기됐다고 보도됐다.

Llama 4 시리즈는 4월 5일 발표 시점 Llama 4 스카우트(Scout), Llama 4 매버릭(Maverick), Llama 4 베헤모스라는 규모가 다른 3종 모델이 존재한다고 밝혀졌다. 이 중 비교적 소규모인 Llama 4 스카우트와 Llama 4 매버릭은 발표와 동시에 출시됐지만 Llama 4 베헤모스는 훈련 중이어서 출시가 후순위가 됐다.

Llama 4 베헤모스는 첫 발표 시점 활성 파라미터 수가 2,880억, 총 파라미터 수가 2조에 이르는 거대 모델이라고 밝혀졌다. Llama 4 베헤모스 발표와 동시에 공개된 벤치마크 결과는 훈련 중인 단계였음에도 앤트로픽 클로드 소넷 3.7, 구글 제미나이 2.0 프로, 오픈AI GPT-4.5를 크게 웃도는 성능을 갖추고 있다고 강조됐다.

하지만 Llama 4 베헤모스 출시 시기는 발표 이후 1개월 이상이 경과한 시점에도 명시되지 않았다. 보도에 따르면 메타는 Llama 4 베헤모스를 4월 출시할 예정이었지만 출시 시기를 6월 이후로 변경했다고 한다. 그리고 지금은 출시 시기가 더 늦어져 올 가을로 연기됐다고 한다.

보도에 따르면 메타 개발팀은 Llama 4 베헤모스 기능 개선에 노력하고 있지만 일반 공개에 값할 만큼의 개선에 이르렀는지에 대해 팀 내에서 의문이 제기되고 있다고 한다. 또 메타 고위 임원은 Llama 4 개발팀 성과에 불만을 품고 있으며 Llama 4 베헤모스 개발이 지연된 책임은 개발팀에 있다고 생각하고 있다. 이로 인해 메타는 AI 제품 부문 경영진에 대한 대폭 쇄신을 검토하고 있다고도 보도됐다. 관련 내용은 이곳에서 확인할 수 있다.