일론 마스크가 설립한 AI 기업 xAI가 자사 첫 멀티모달 AI 모델인 그록-1.5(Grok-1.5)를 발표했다. 그록-1.5는 이미지를 이해할 수 있어 흐름도를 인식하고 코드를 작성하라거나 영양성분표를 보고 칼로리를 계산하라는 것 같은 작업이 가능하다.
그록-1.5는 단일 모델로 텍스트 생성과 이미지 인식을 모두 지원하는 멀티모달 AI 모델. 그록-1.5는 기존 그록 사용자와 일부 테스터를 대상으로 곧 테스트가 시작될 예정이다.
xAI는 그록-1.5 성능을 보여주는 여러 사례를 공개했다. 예를 들어 흐름도를 보여주며 이 흐름도를 파이썬 코드로 변환해달라고 요청하면 파이썬 코드를 출력할 수 있다. 또 영양 성분표를 보여주면 중간 계산 과정을 설명하며 정확한 칼로리를 알려주게 할 수도 있다. 표 스크린샷을 보여주면 CSV 형식으로 변환할 수도 있다.
xAI는 그록-1.5 발표와 함께 멀티모달 AI를 위한 벤치마크 RealWorldQA도 공개했다. RealWorldQA 초기 버전에는 이미지 765장과 이미지에 관한 질문이 포함되어 있어 멀티모달 AI 현실 세계 공간 인식 능력을 측정할 수 있다.
그록-1.5V, GPT-4V, 클로드 3 소넷, 클로드 3 오푸스, 제미나이 프로 1.5 벤치마크 결과를 비교해보면, 그록-1.5V는 여러 벤치마크에서 GPT-4V와 제미나이 프로 1.5를 넘어서는 점수를 기록했다. 그 중에서도 RealWorldQA를 포함한 일부 테스트에서 가장 높은 점수를 기록하기도 했다. 관련 내용은 이곳에서 확인할 수 있다.