LLaMA 3나 Mistral-7B 등 오픈소스 대규모 언어모델(LLM)을 지원하며 WebGPU를 사용해 브라우저상에서 완전히 작동하는 채팅봇인 시크릿 LLaMA(Secret LLaMA)가 공개됐다.
시크릿 LLaMA는 대화 데이터가 PC에서 유출되는 일이 없어 완전히 프라이빗하다. 브라우저에서 실행되므로 서버나 설치가 필요 없다. 또 모델을 로딩한 뒤에는 오프라인에서도 작동하며 챗GPT 같은 사용하기 편한 인터페이스를 갖추고 있다. 추론 엔진으로는 Web-LLM을 사용한다고 한다.
아울러 시크릿 LLaMA는 WebGPU를 사용하는 구조상 기본적으로 WebGPU가 활성화된 구글 크롬 또는 마이크로소프트 엣지에서 사용하는 게 권장된다. 모질라 파이어폭스의 경우 수동으로 WebGPU를 활성화해야 하며 사파리의 경우에는 실험적 WebKit 기능 설정에서 WebGPU를 활성화해야 한다. 또 시크릿 LLaMA ‘React’ 코드를 직접 컴파일해 사용할 수도 있다. 관련 내용은 이곳에서 확인할 수 있다.