정용환 기자
엔비디아가 지포스 RTX GPU에서 동작하는 기술 데모인 챗위드RTX(Chat with RTX)를 무료 출시했다. 사용자는 챗위드RTX를 독자 콘텐츠로 개인화할 수 있으며 시스템 요건은 VRAM이 8GB 이상인 RTX30 시리즈 이후 GPU를 탑재한 윈도 머신이다.
챗위드RTX는 RAG(Retrieval-Augmented Generation), 텐서RT-LLM(TensorRT-LLM), 엔비디아 RTX 가속 기술을 이용해 윈도 PC에 로컬로 생성형 AI를 작동시킨다. 사용자는 PC상 로컬 파일을 데이터세트로 미스트랄(Mistral)이나 LLaMA2 같은 오픈소스 대규모 언어 모델에 빠르고 간단하게 접속할 수 있다고 한다.
챗위드RTX에서 사용할 수 있는 AI 모델은 미스트랄과 LLaMA2 2종류다. 데이터세트에 로컬 폴더 내 파일을 지정할 수 있으며 텍스트 파일 외에 PDF 형태나 DOC 포맷도 지원한다. 또 데이터세트에 유튜브 URL을 지정할 수 있다. 챗위드RTX를 사용하면 수중에 있는 긴 의사록을 정리하거나 PDF 파일에 쓰인 내용 중 검색하고 싶은 사항만 추출할 수 있다.
또 챗위드RTX는 적어도 8GB VRAM을 갖춘 지포스 RTX30 시리즈 이후 GPU가 필요하며 운영체제는 윈도10/11, 버전 551.52 이후 엔비디아 GPU 드라이버가 요구된다. 관련 내용은 이곳에서 확인할 수 있다.
이원영 기자
이석원 기자
