허깅페이스, 오픈AI 딥리서치 오픈소스 버전 개발중

오픈AI가 발표한 인터넷상 정보를 검색하고 추론을 수행하는 AI 에이전트인 딥리서치(Deep research) 오픈소스 버전을 AI 개발 플랫폼 허깅페이스 개발자가 구축하고 있는 것으로 밝혀졌다.

딥리서치는 인터넷상 정보를 검색할 수 있는 AI 에이전트로 콘텐츠 발견, 콘텐츠 통합, 정보에 대한 추론이라는 3가지 주요 기능을 갖추고 있다. 딥리서치는 챗GPT에 통합되어 일반에 공개될 예정이며 이미 구독 서비스인 챗GPT 프로에서 사용할 수 있게 되어 있다.

챗GPT는 인터넷상 정보를 검색할 수 없었고 미리 주어진 정보만을 사용해 사용자 요청에 응답할 수밖에 없었지만 딥리서치가 통합되어 더 유연하게 사용자 요청을 처리할 수 있게 될 것으로 기대되고 있다.

그러나 딥리서치는 현재 유료 회원만 이용할 수 있으며 향후 로드맵에서도 각종 유료 회원을 대상으로 순차적으로 전개될 것이라는 점만 알려져 있다.

이런 상황에서 허깅페이스 공동 설립자이자 최고 과학자인 토마스 울프와 개발자 그룹이 딥리서치 오픈 버전인 오픈 딥리서치(Open Deep Research)를 구축하고 있는 것으로 밝혀졌다.

울프에 따르면 원본 딥리서치는 대규모 언어 모델(OpenAI 4o, o1, o3 등)과 에이전트 프레임워크로 구성되어 있다고 한다. 에이전트 프레임워크는 AI 시스템에 내장된 도구로 LLM이 웹사이트를 탐색하거나 PDF 파일을 읽는 데 사용된다.

오픈AI가 딥리서치 기반이 되는 에이전트 프레임워크에 대해 거의 공개하지 않은 점에 주목한 울프 팀은 이 에이전트 프레임워크를 오픈소스로 자체 제작하기로 했다.

Introducing open-Deep-Research by @huggingface ! 💥

Deep Research from @OpenAI is really good… But it's closed, as usual.

> So with a team of cracked colleagues, we set ourselves a 24hours deadline to replicate and open-source Deep Research!

➡️ We built open-Deep-Research,… pic.twitter.com/GE9tvjW0BA

— Aymeric (m-ric) (@AymericRoucher) February 4, 2025

오픈 딥리서치는 오픈AI o1과 오픈소스 에이전트 프레임워크로 구성되어 있다. o1은 프로프라이어터리 모델 그러니까 유료 API로 보호되고 있지만 에이전트 프레임워크는 오픈소스라는 특징이 있다. 에이전트 프레임워크를 오픈소스로 개발해 o1을 포함한 원하는 모델을 사용자가 사용해 완전히 로컬에서 커스터마이즈된 AI 에이전트를 이용할 수 있게 되는 게 울프 팀이 목표로 하는 바라고 한다.

우선 울프 팀은 심플한 텍스트 기반 브라우저와 텍스트 인스펙터 툴킷을 사용해 웹상 파일을 읽어 들이는 구조를 구축해 딥리서치에 근접한 성능을 내려 했다. 이 시도는 딥리서치 공개 후 24시간 이내에 실현됐다.

울프 팀에 따르면 딥리서치가 평균 67.36% 점수를 기록한 벤치마크 GAIA에서 오픈 딥리서치는 54% 점수에 도달했다고 한다. 차이는 분명하지만 울프 팀은 이는 시작에 불과하며 개선해야 할 점이 많다며 개발을 계속할 의향을 보였다.

제공된 URL에서 오픈 딥리서치 데모 버전에 접속할 수 있으며 ‘Your request’라고 쓰인 부분에 프롬프트를 입력하고 엔터키를 누르면 오픈 딥리서치 응답을 받을 수 있다. 울프 팀은 경험을 개선하는 데 전력을 기울이고 있으며 소스 코드를 깃허브에서 공개하여 열람과 피드백이 가능하도록 하고 있다고 한다. 관련 내용은 이곳에서 확인할 수 있다.