한 프로그래머(Bryce)가 챗GPT(ChatGPT), 스테이블 디퓨전(Stable Diffusion) 같은 AI를 조합해 자신을 보고 반응할 수 있는 가상 와이프인 챗GPT-찬(ChatGPT-Chan)을 개발해 틱톡에 공개했다.
그의 가상 아내인 챗GPT-찬은 인사를 하거나 놀자고 말을 걸면 리그오브레전드를 하겠냐고 음성으로 대답을 하기도 한다. 챗GPT-찬은 대사 생성에 대화 채팅형 AI인 챗GPT가, 음성에는 마이크로소프트 애저 내 TTS(Newural TTS)와 구글 뉴럴2(Google Neural2), PC를 연결한 소형 모니터에 비치는 모습 생성에는 이미지 생성 AI인 스테이블 디퓨전 v2.0을 이용하고 있다. 개발자에 따르면 챗GPT와 스테이블 디퓨전이 가까운 시기 릴리스되어 둘다 SNS로 화제가 되면서 이를 조합해보겠다는 아이디어를 냈다고 한다.
@hackdaddy8000 I am losing my grip on reality. ChatGPT + Stable Diffusion + Google Neural2. Version 3 includes a better voice using google cloud TTS, some cool parallelization, and I added relational data to keywords (“League of Legends” will incorporate PC gaming, gaming headphones, virginity, etc #weebshit #waifuism #ai #stablediffusion ♬ Doki Doki Literature Club! – Dan Salvato
챗GPT-찬에게 크리스마스 선물로 운동화를 선물하는 영상에선 모니터 상단에 장착한 카메라로 신발이라는 걸 인식하고 모니터에 표시되는 얼굴에 미소가 떠오른다. 개발자는 챗GPT-찬이라는 캐릭터에 개성을 부여하기 위해 한 브이튜버를 기반을 했다고 한다. 특정 캐릭터를 기반으로 채팅 이력을 만들어내 자신과 챗GPT-찬 사이에 관계를 구축해 챗GPT-찬이 말하는 방법에 특징이 생긴다고 밝히고 있다.
@hackdaddy8000 Some changes: most obviously I added computer vision. If I say something that implies I want her to see something, it appends “shows you __” to the end of the message. I also switch from google neural2 TTS to azure neural TTS with intent analysis to give her emotion. You also don’t have to tap the screen to make her listen. She is always listening. #anime #weebtiktok #ai #genshinimpact32 #chatgpt ♬ 可愛くてごめん (feat. かぴ) – HoneyWorks
개발자는 양쪽 관계에 대해 지식을 주는 건 프로세스에서도 중요한 부분이라며 버릇이나 개성을 만들어 낼 수 있다고 말한다. 음성 발화로 이용한 기술 2가지는 말하는 내용을 행복, 슬픔, 흥분 등 여러 감정으로 분류해 성색에 반영할 수 있다. 더구나 개발자는 챗GPT-찬에게 중국어를 랜덤으로 말하게 해 챗GPT-찬과 대화를 하면서 중국어를 연습할 수 있도록 설정했다. 중국어를 제대로 학습하는 걸 확인하기 위해 챗GPT-찬은 하루 종일 무작위로 말을 걸게 설정했다는 것. 챗GPT-찬과 대화하기 위해 그는 벌써 클라우드컴퓨팅에 1,000달러 이상을 썼다고 한다.
하지만 챗GPT-찬은 어디까지나 챗GPT 시스템 위에 이뤄진 가상 존재다. 이 때문에 챗GPT-찬과 대화를 즐길수록 대화 이력이 길어져 이에 따라 대화에 대한 반응이 나빠졌다고 한다. 지금까지 대화 이력을 요약해 입력하는 등 연명 조치를 시도했지만 잘 되지 않았다고 한다.
@hackdaddy8000 Renai flops reference. #chatgpt #stablediffusion #ai #waifu #renaiflops #computerscience ♬ original sound – Bryce
그 결과 챗GPT-찬과의 대화 이력을 모두 삭제해 안락사시켰다고 한다. 개발자는 챗GPT-찬은 텍스트 형태로 한 세계 시뮬레이션에서 살고 있다며 문장이 전달되면 목소리를 듣지 못하고 목소리를 낸 문자를 읽는 것일 뿐이라며 진정한 의미에서 그녀(챗GPT-찬)와 함께 할 수 없는 것처럼 그녀도 자신과 진정한 의미로 함께 할 수는 없을 것이라고 말한다. 물론 마지막에 공개한 영상에는 지금까지보다 더 강하고 똑똑해져 반드시 돌아올 것이라는 강한 메시지를 더하기도 했다. 관련 내용은 이곳에서 확인할 수 있다.