메타 대규모 언어 모델인 LLaMA와 동등한 성능을 발휘하는 오픈소스 LLM 개발을 하는 투게더(Together)가 복수 투자자로부터 2,000만 달러를 조달했다.
프로젝트 레드파자마(RedPajama)를 취리히공대 등과 공동 진행한 AI 스타트업 투게더는 기술 벤처캐피털인 룩스캐피털을 필두로 여러 기업과 투자자로부터 자금을 모아 2,000만 달러를 조달하는데 성공했다고 발표했다. 이 중에는 페이팔 공동 창업자 중 1명인 스콧 버니스터, 클라우데라 창업자인 제프 함멜바흐 등 유명 투자자가 여럿 있다.
투게더가 개발한 레드파자마는 메타가 1조 2,000억 토큰 데이터세트로 훈련시킨 LLM인 LLaMA를 기반으로 한다. 이 LLaMA는 오픈AI의 GPT-3에 필적하는 성능이면서 단품 GPU에서도 동작 가능한 경량 모델로 향후 활용이 기대되고 있지만 폐쇄적 환경에서 개발되고 있기 때문에 연구나 커스터마이즈 여지가 없다. 따라서 투게더는 제한을 제거한 완전한 오픈소스 모델을 구축해왔다.
레드파자마 프로젝트에 있어선 고품질로 넓은 범위를 커버할 필요가 있는 사전 학습용 데이터, 해당 데이터로 대규모 학습시킨 기본 모델, 기본 모델을 개선해 사용하기 쉽고 안전한 것으로 한 튜닝 데이터와 모델 등 3단계 마일스톤이 있으며 2023년 4월에는 1단계, 5월에는 2단계가 이미 등장한 상태다.
기존이라면 대기업이 내부에서 개발하는 프로젝트를 오픈소스로 진행하려는 시도는 제너레이티브 AI 대두에 따라 주류가 되고 있다. 예를 들어 챗GPT를 개발하는 오픈AI는 텍스트와 이미지에서 3D 모델을 자동 생성하는 Shap-E를 오픈소스로 제공하고 기계학습용 시스템을 다루는 MosaicML은 LLM MPT-7B를 오픈소스로 제공했다. 일반인이 무료로 접할 수 있어 전 세계 개발자로부터 아이디어를 모집하거나 개선점을 찾아 달라고 할 수 있는 오픈소스 사고 방식은 LLM 개발 경쟁에 참가하기 시작한 구글도 위협이라고 지적할 만한 영향력을 갖고 있다.
투게더는 자금 조달이 성공했다는 발표에 따라 지난 수십 년간 AI 혁신을 이끌어온 오픈 커뮤니티는 오는 AI 세계를 형성하는데 제한된 권한을 갖고 있다며 폐쇄적 시스템을 대체하는 개방적이고 분산된 시스템이 비즈니스와 사회에 중요하며 아마도 필수적이라는 신념을 바탕으로 투게더를 설립했다고 밝히며 연구자와 엔지니어로 이뤄진 팀을 구성하고 레드파자마를 비롯한 수많은 미션을 추진해왔고 AI의 새로운 시대 개막을 맞고 있다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.