촬영한 모든 걸 예술로 바꿔 벽걸이 이미지로…

기계 학습 엔지니어 마티유 르 코쇼와(Matthieu Le Cauchois)가 개발한 파블로넷(PabloNet)은 초당 100장 이상 이미지를 생성할 수 있는 빠른 이미지 생성 파이프라인인 스트림디퓨전(StreamDiffusion)을 사용해 카메라로 포착한 장면을 실시간으로 AI 아트로 변환하는 시스템이다.

기존 확산 모델은 텍스트나 이미지 프롬프트로부터 이미지를 생성하는 데는 능숙했지만 실시간 상호작용에서는 성능이 부족한 경우가 많았다. 메타버스나 라이브 비디오 스트리밍과 같은 연속적인 입력이 필요한 상황에 대응하기 위해 개발된 새로운 접근 방식이 바로 스트림디퓨전이다. 일반적인 생성형 AI는 일련의 프롬프트가 입력되면 읽기 시간이 걸린 뒤 그에 맞는 이미지를 출력하지만 스트림디퓨전 데모 영상에서는 프롬프트를 한 글자씩 입력할 때마다 생성되는 이미지가 실시간으로 전환되는 걸 확인할 수 있다.

개발자는 AI를 통해 누구나 예술을 생성하고 내면을 표현할 수 있게 된 건 놀라운 일이라며 AI로 창의성을 발휘할 수 있는 점을 긍정적으로 평가했다. 하지만 스트림디퓨전을 테스트하면서 실시간 이미지 생성이 재미있기는 해도 만화 스타일 이미지가 많거나 프롬프트 입력 후 생성된 이미지를 즐기는 일시적인 경험에 그치는 경우가 많아 아쉬움을 느꼈다고 한다.

이런 배경에서 개발한 게 파블로넷이다. 파블로넷은 액자 속에 모니터가 있고 그 모니터 위에 작은 구멍이 있다. 이 구멍은 웹캠 역할을 하며 실시간으로 촬영한 영상을 스트림디퓨전을 통해 실시간으로 예술로 변환하는 시스템이다.

파블로넷은 사람 뿐 아니라 촬영된 물체에도 반응한다. 개발자는 실시간으로 영상을 예술로 변환하는 이 시스템을 통해 눈앞을 지나가기만 해도 아트가 변화하며 일시적인 게 아닌 상호작용형 예술로 기능하다면서 또 앞에 놓는 객체를 바꿔가며 기분에 맞는 그림을 걸 수 있고 지속적으로 변화하는 캔버스처럼 영속성을 느낄 수 있다고 설명했다. 그에 따르면 출력되는 예술 영상 프레임 레이트가 낮다는 등 문제점이 있어 아직 개선 여지가 남아 있다고 한다.

파블로넷 내부는 10.1인치 스크린, 적외선 라이트, 라즈베리파이용 파이 카메라를 종이보드에 장착한 뒤 액자 형태 프레임에 수납되어 있다. 또 파블로넷 코드는 깃허브에서 공개되어 있다. 관련 내용은 이곳에서 확인할 수 있다.