
빠른 AI 발달로 다양한 분야에서 고도의 성능을 발휘하는 언어 모델이 여럿 탄생했다. 하지만 언어 모델에는 각각 장단점이 있어 특정 사용 사례에 적합한 모델을 선택하는 건 개발자에게 어려운 과제가 되고 있다. 새롭게 모질라(Mozilla) AI 부문인 모질라닷에이아이(Mozilla.ai)가 기계학습 지식 유무에 관계없이 AI 모델 선택을 위한 의사결정을 할 수 있는 도구인 루미게이터(Lumigator)를 발표했다.
루미게이터는 사용자가 필요에 맞는 적절한 언어 모델을 선택하는 과정을 안내하는 오픈소스 플랫폼이다. 공식 블로그에 따르면 주요 특징은 먼저 정량 평가 메트릭 기반의 모델 비교와 인사이트. 자연어 처리 지표인 BERTScore와 ROUGE 등 메트릭을 사용해 클로즈드 소스 모델과 오픈소스 모델을 나란히 비교한다.
둘째 허깅페이스와 오픈API 호환 모델 모두 지원. 허깅페이스 모델 허브에서 이용 가능한 모델 또는 오픈AI나 미스트랄 등 API를 통해 접근할 수 있는 모델을 평가한다.
셋째 UI 및 API 컴포넌트. 사용자 인터페이스 또는 API 통합 중 워크플로에 적합한 쪽을 추천한다.
넷째 개발자용 소프트웨어 개발 키트(SDK)와 문서. 루미게이터는 깃허브에서 공개되어 있으며 SDK와 문서도 상세하게 제공되고 있다.
루미게이터 UI를 보면 먼저 ‘Provide Dataset’에서 AI를 적용하고 싶은 데이터세트를 올린다. 데이터셋을 업로드하면 ‘Create experiment’에서 실험 섹션을 시작한다. 실험에 사용할 모델을 선택한 뒤 ‘Run experiment’를 클릭해 실험을 실행한다. 실험이 완료되면 ‘SUCCEEDED(성공)’ 또는 ‘FAILED(실패)’로 표시된다.
실험에 사용한 모델별로 평가 지표를 비교하는 표가 표시된다. 데이터세트 내 각 인스턴스 모델 예측과 실제 예측값의 비교도 확인할 수 있어 다양한 모델 중에서 데이터세트에 맞는 모델을 선택할 수 있는 구조다.
모질라 측 관계자는 AI는 애플리케이션 구축 방식을 변혁하고 있지만 적절한 모델 선택은 블랙박스여서는 안 된다며 루미게이터는 초보자부터 AI 전문가까지 제품에 AI를 통합하고 싶은 모든 엔지니어가 충분한 정보를 바탕으로 결정을 내릴 수 있도록 하려는 것이라고 말했다.
루미게이터 소스코드 등은 깃허브에서 공개되어 있다. 관련 내용은 이곳에서 확인할 수 있다.