테크레시피

무료 다운로드‧로컬 동작 가능한 고성능 LLM

커맨드 R+(Command R+)는 비즈니스용으로 구축된 대규모 언어 모델이다. 코히어(Cohere)가 개발한 것으로 GPT-4와 동등한 성능을 갖추고 있으며 다국어 대응이 가능하다. 로컬로 다운로드해 실행할 수 있을 뿐 아니라 웹 기반 챗앱 데모에서도 사용할 수 있다.

커맨드 R+는 파라미터 1,040억 개를 갖춘 대규모 언어 모델. 동시에 토큰 12만 8,000개를 처리할 수 있는 컨텍스트 윈도를 갖추고 있다. 커맨드 R+는 다국어 처리와 외부 정보를 활용해 답변 정확도를 높이는 RAG(Retrieval-Augmented Generation) 측면에서 미스트랄 라지(Mistral Large)보다 뛰어난 성능을 보인다. 또 외부 도구를 활용해 답변 정확도를 높이는 도구 사용성 측면에선 GPT-4 터보를 능가하는 성능을 발휘한다.

인간 평가에서 커맨드 R+는 클로드 3 소넷(Claude 3 Sonnet)보다 뛰어나다고 판단한 비율이 74%에 달했으며 GPT-4 터보보다 좋다고 판단한 비율은 53%였다. 다국어 성능을 평가하는 여러 벤치마크 테스트에서 커맨드 R+는 대부분 테스트에서 상위권을 차지했으며 일부 테스트에선 GPT-4 터보를 제치고 최고 수준 성능을 보여줬다.

커맨드 R+ 모델 데이터는 무료로 다운로드해 비영리 목적으로 자유롭게 사용할 수 있다. 인터넷상에는 커맨드 R+를 로컬에서 실행해본 결과가 여러 건 보고되어 있다. 또 코히어는 커맨드 R+를 사용할 수 있는 API를 제공하며 입력 100만 토큰당 3달러, 출력 100만 토큰당 15달러 요금을 부과한다. 회사 측은 커맨드 R+ 요금이 미스트랄 라지나 GPT-4 터보보다 저렴하다는 점을 강조하고 있다.

또 커맨드 R+는 동일 텍스트를 표현하는 데 필요한 토큰 수가 다른 대규모 언어 모델보다 적다는 점도 강조하고 있다. 커맨드 R+는 마이크로소프트 애저와 아마존 세이지메이커에서도 이용할 수 있다. 그 외의 이용 형태에 대해서는 코히어 영업팀에 문의해야 한다. 관련 내용은 이곳에서 확인할 수 있다.

이석원 기자

월간 아하PC, HowPC 잡지시대를 거쳐 지디넷, 전자신문인터넷 부장, 컨슈머저널 이버즈 편집장, 테크홀릭 발행인, 벤처스퀘어 편집장 등 온라인 IT 매체에서 '기술시대'를 지켜봐 왔다. 여전히 활력 넘치게 변화하는 이 시장이 궁금하다.

뉴스레터 구독