클라우드 기반 데이터웨어하우스 서비스를 제공하는 기업 스노우플레이크(Snowflake)가 최상위 수준 엔터프라이즈 대규모 언어 모델인 스노우플레이크 아틱(Snowflake Arctic)을 출시했다. 아파치 라이선스 버전 2.0으로 제공되는 오픈 모델로 무료로 상용화도 가능하다.
스노우플레이크 자체 조사에 따르면 기업 사용자는 주로 데이터 보조, 코드 보조, 검색 확장 생성(RAG) 채팅봇 제작 등에 AI를 활용하길 원한다고 한다. 이에 스노우플레이크는 코딩 능력, SQL 생성 능력, 명령 이행 능력 평균을 엔터프라이즈 인텔리전스라는 단일 지표로 만들었다.
이번에 스노우플레이크가 출시한 대규모 언어 모델인 스노우플레이크 아틱은 오픈 모델 중에서도 최상위 수준 엔터프라이즈 인텔리전스 능력을 가졌다고 한다. 또 학습 비용이 200만 달러 미만으로 다른 모델에 비해 효율적으로 학습할 수 있다고 알려졌다.
학습 효율을 높이기 위해 스노우플레이크 아틱은 독자적인 Dense-MoE(Mixture of Experts) 하이브리드 트랜스포머 아키텍처를 사용했다고 한다. 스노우플레이크 아틱에는 익스퍼트(experts) 128개에게 4,800억(480B) 파라미터가 할당되어 있고 학습과 추론 시에는 익스퍼트 중 170억(17B) 파라미터만 사용된다.
또 학습할 때 단계별로 학습 내용을 바꿔 초기 1조(1T) 토큰에 해당하는 단계 1에서는 일반적인 상식 추론 등 기술을 학습하고 후반부 단계 2와 단계 3에서 코딩이나 수학 등 복잡한 내용을 학습하도록 했다고 한다.
이렇게 조정을 거듭해 스노우플레이크 아틱은 학습 뿐 아니라 추론 역시 효율적으로 수행할 수 있게 됐다.
스노우플레이크 아틱은 SQL 생성, 코딩, 명령 이행이라는 엔터프라이즈 인텔리전스 분야에서는 자신보다 많은 활성 파라미터를 가진 대규모 오픈 모델을 능가하는 최상위 성능을 보이며 수학, 상식적 추론, 지식 등 학술 분야에서도 같은 규모 모델과 대등한 능력을 발휘할 수 있다고 한다.
스노우플레이크 아틱 모델은 허깅페이스에 공개되어 있다. 관련 내용은 이곳에서 확인할 수 있다.