오픈AI GPT-4를 코딩 능력에서 능가했다는 AI 검색 엔진 파인드(Phind)가 새로운 대규모 언어 모델 플래그십인 파인드-405B(Phind-405B)를 발표했다.
파인드에 따르면 파인드-405B는 메타 Llama 3.1 405B를 기반으로 하며 토큰 수는 128K, 컨텍스트 윈도는 32k다. 프로그래밍 능력을 측정하는 평가 지표(HumanEval)에서 92%라는 좋은 성적을 보여줬으며 이는 앤트로픽 클로드 3.5 소넷에 필적한다. 파인드에 따르면 파인드-405B는 그 중에서도 웹 앱 설계와 구현에서 높은 성능을 발휘한다고 한다. 파인드는 프로그래머 폴 그레이엄 에세이 창업자 모드 랜딩 페이지 제작을 의뢰한 경우 작업 사례를 들고 있다. 의뢰를 받은 파인드-405B는 다양한 사이트에서 정보를 수집하고 정보를 종합해 랜딩 페이지를 완성했다.
Introducing Phind-405B, our new flagship model!
— Phind (@phindsearch) September 5, 2024
Phind-405B scores 92% on HumanEval, matching Claude 3.5 Sonnet. We’re particularly happy with its performance on real-world tasks, particularly when it comes to designing and implementing web apps.
Our focus on technical topics…
파인드-405B는 딥스피드(DeepSpeed)와 MS-AMP 라이브러리를 사용해 H100 GPU 256개를 이용한 FP8 혼합 정밀도 훈련이 진행됐다고 한다. 파인드에 따르면 FP8 혼합 정밀도 훈련은 기존 BF16 정밀도 훈련보다 성능 저하가 적고 메모리 사용량을 40% 줄일 수 있다고 한다. 또 파인드는 AI 검색 엔진 개선으로 파인드 인스턴트(Phind Instant)에서 사용하는 모델 업데이트도 동시에 발표했다. AI를 사용한 검색에서는 구글 등 기존 검색 엔진과 비교해 결과가 표시되기까지 걸리는 시간이 길다는 게 문제였지만 새로 파인드-405B와 같은 데이터세트로 훈련한 메타 Llama 3.1 8B 기반 모델을 개발해 초당 최대 350 토큰을 생성할 수 있게 되어 사용자 경험이 향상됐다고 한다. 관련 내용은 이곳에서 확인할 수 있다.