오픈AI 챗GPT 공식 명칭(Chat Generative Pre-trained Transformer)에 트랜스포머라는 단어가 사용된 것처럼 현재 주요 AI 모델 대부분은 구글이 발표한 심층 학습 모델인 트랜스포머를 사용한 것이다. 트랜스포머를 사용하지 않고 GPT를 뛰어넘는 기초 모델을 구축하는 걸 목표로 하는 AI 기업인 리퀴드AI(Liquid AI)가 메모리 풋프린트를 최소화하면서 뛰어난 성능을 보이는 LFM(Liquid Foundation Models) 첫 시리즈를 발표했다.
이번에 발표된 생성 AI인 LFM은 리소스가 제한된 환경에 최적화된 LFM 1.3B, 중규모 LFM 3B, 더 복잡한 작업을 위해 설계된 혼합 전문가 모델(MoE)인 LFM 40B MoE 3가지 크기로 나뉜다. MIT 분사 기업인 리퀴드AI에 따르면 LFM은 크기 대비 성능이 뛰어나다고 한다.
리퀴드AI는 LFM은 역학 시스템 이론, 신호 처리, 수치 선형 대수에 깊이 뿌리를 둔 계산 유닛으로 구축된 대규모 신경망이다. 이 독특한 조합은 이런 분야에서의 수십 년에 걸친 이론적 진보를 활용해 모든 규모 지능을 실현 가능하게 한다. 이렇게 개발된 LFM은 영상, 오디오, 텍스트, 시계열, 신호 등 모든 종류 순차적 데이터를 모델링하는 데 사용할 수 있는 범용 AI 모델이 됐다는 설명이다.
LFM은 트랜스포머를 아키텍처로 한 모델에 비해 메모리 효율이 뛰어난 게 특징이며 입력을 효율적으로 압축해 동일한 하드웨어에서 더 긴 시퀀스를 처리할 수 있게 됐다.
리퀴드AI에 따르면 리퀴드라는 명칭은 회사 뿌리인 역동적이고 적응력 있는 학습 시스템에 경의를 표한 것이라고 한다. 관련 내용은 이곳에서 확인할 수 있다.