젬마2 기반 소형 파라미터 모델 발표한 구글

구글이 2024년 6월에 대규모 언어 모델(LLM)인 젬마2(Gemma 2)를 발표했다. 초기 발표된 젬마2 파라미터 크기는 90억(9B)과 270억(27B) 2가지였지만 이들보다 더 소형이면서도 뛰어난 성능을 발휘하는 젬마2 2B와 젬마2를 기반으로 한 AI 모델 입출력을 필터링해 사용자 안전을 지키는 실드젬마(ShieldGemma), 모델 내부 동작에 대한 비할 데 없는 통찰력을 제공하는 모델 해석 도구인 젬마 스코프(Gemma Scope)를 발표했다.

구글이 지난 6월 발표한 젬마2는 파라미터 크기가 9B와 27B인 2가지 모델을 출시했다. 그 중에서도 27B 모델은 출시 후 LLM을 평가하는 클라우드소싱 오픈 소스 리더보드(LMSYS Chatbot Arena)에서 최고 순위를 차지했으며 인간과의 대화에서는 2배 이상 파라미터 크기를 가진 인기 AI 모델보다 뛰어난 성능을 발휘했다. 젬마2는 안전성과 접근성을 우선시한 책임 있는 AI 기반으로 구축됐다.

이런 젬마2의 특징을 더 발전시키기 위해 구글은 젬마2 패밀리로서 새로운 3가지 제품을 발표했다.

먼저 젬마2 2B는 파라미터 크기가 20억(2B)으로 기존 모델 중 가장 소형이며 경량화된 모델이다. 구글은 젬마2 2B가 더 큰 파라미터 크기 모델에서 학습해 소형이면서도 뛰어난 성능을 발휘할 수 있다고 강조하고 있다.

구글이 제시한 젬마2 2B 특징은 먼저 탁월한 성능. 파라미터 크기에 비해 최고 성능을 제공하며 동일한 카테고리 다른 오픈 모델을 능가한다. 다음으로 유연하고 비용 효율적인 도입. 젬마2 2B는 엣지 장치나 노트북에서부터 버텍스 AI나 GKE(Google Kubernetes Engine)를 사용한 강력한 클라우드 도입까지 다양한 하드웨어에서 효율적으로 동작한다. 또 엔비디아 TensorRT-LLM 라이브러리로 최적화되어 있어 엔비디아 RTX, 엔비디아 지포스 RTX GPU, 엔비디아 젯슨 모듈 등을 사용하는 다양한 에지 AI 도입에 적합하다. 젬마2 2B는 Keras, JAX, Hugging Face, NVIDIA NeMo, Ollama, Gemma.cpp, MediaPipe와 원활하게 통합된다.

다음은 오픈 액세스 가능. 연구 및 상업용 애플리케이션을 위한 상업적으로 친화적인 라이선스 하에 사용할 수 있으며 구글 코랩(Google Colab) T4 GPU 무료 수준에서도 실행할 수 있을 만큼 소형이다.

다음은 실드젬마. AI 모델 입력과 출력 내에 포함된 유해 콘텐츠를 탐지하고 완화하도록 설계된 최첨단 안전성 분류기다. 실드젬마는 주로 혐오 발언, 괴롭힘, 성적 내용, 위험한 콘텐츠의 4가지 영역을 대상으로 한다. 실드젬마는 AI 커뮤니티 내의 투명성과 협력을 촉진해 기계 학습 업계 안전 기준 향상에 기여한다.

이어 젬마 스코프는 연구자와 개발자에게 젬마2 모델 의사결정 과정에 대한 투명성을 제공한다. 강력한 현미경처럼 작동하는 젬마 스코프는 SAEs(sparse autoencoders)를 사용해 모델 특정 포인트를 확대하고 모델 내부 동작을 더 쉽게 해석할 수 있도록 한다.

구글은 3가지 측면에서 젬마 스코프가 혁신적이라고 강조하고 있다. 첫째 오픈 SAEs. 젬마2 2B 및 9B 모든 레이어를 다루는 400개 이상 SAE를 무료로 제공한다. 둘째 인터랙티브 데모. 뉴런피디아(Neuronpedia)에서 코드를 작성하지 않고 SAEs 기능을 탐색하고 모델 동작을 분석할 수 있다. 셋째 사용하기 쉬운 리포지토리. SAEs 및 젬마2와의 인터페이스를 위한 코드와 사례도 제공한다. 관련 내용은 이곳에서 확인할 수 있다.