구글 연구팀이 영상 생성 AI인 뤼미에르(Lumiere)를 발표했다. 뤼미에르에선 프레임끼리 자연스럽게 연결된 위화감이 적은 영상을 생성 가능하며 텍스트나 이미지를 입력해 영상을 생성할 수 있으며 영상 일부를 지정해 다른 영상으로 바꾸거나 사진 일부만 움직이거나 하는 조작도 가능하다.
텍스트나 이미지를 입력해 영상을 생성할 수 있는 AI가 많이 존재하지만 이런 AI 대부분은 프레임을 여러 장 생성해 프레임끼리는 보간하는 방법으로 영상을 생성하고 있기 때문에 프레임끼리의 연결이 부자연스러워지는 경향이 있다. 한편 뤼미에르는 영상 전체 프레임을 한 번에 생성하는 수법을 채택해 프레임끼리의 연결이 자연스럽고 위화감이 적은 영상을 생성할 수 있다. 생성 가능한 건 영상 프레임 속도 16fps, 영상 길이는 5초다.
뤼미에르에선 문장이나 이미지를 입력하는 것으로 입력 내용에 따른 영상을 생성할 수 있을 뿐 아니라 이미지 스타일을 유지해 영상을 생성하거나 영상 일부를 생성 영상으로 바꾸는 등 기능도 갖추고 있다.
뤼미에르 기능을 보면 먼저 이미지 스타일을 유지해 다른 피사체 영상을 생성하는 것. 이어 영상을 AI로 가공하는 것. 문장이나 이미지 뿐 아니라 영상을 입력해 Ai로 가공하는 것도 가능하다. 다음으로 영상 일부 가공. 영상 일부만 선택해 가공을 실시할 수도 있다. 그 뿐 아니라 이미지 일부를 움직이게 하는 조작도 가능하다. 또 영상 빠진 부분 보충. 영상 일부를 검은 색으로 칠하고 칠한 부분에 생성형 영상을 넣는 식이다. 관련 내용은 이곳에서 확인할 수 있다.