2023년 12월 10일부터 16일에 걸쳐 이뤄진 기계학습과 계산론적 신경과학 콘퍼런스(NeurIPS) 기간 중 시드니공대 연구팀에 의해 뇌파를 직접 언어로 번역한다는 대규모 언어 모델인 브레인GPT(BrainGPT) 논문이 발표됐다.
브레인GPT는 MRI 장치나 임플란트가 필요 없는 모자를 이용해 읽은 뇌파만을 바탕으로 대규모 언어 모델을 통해 텍스트를 생성하는 구조다. 연구팀은 뇌에서 텍스트로의 번역 과정에 이산 인코딩 기술을 처음으로 통합했다고 말한다.
실험에서 피험자는 화면에 표시된 텍스트를 머릿속에서 생각하도록 지시한다. 브레인GPT가 읽은 결과에는 정보가 꽤 빠져 있지만 큰 줄기는 적절하게 읽을 수 있다. 문장이 짧아지면 전체적으로 의미에 가까운 문장이 생성된다.
연구팀은 브레인GPT에 대해 명사는 작자가 인간이라고 출력되는 등 동의어가 사용되어 버리는 경우가 많아 명사보다 동사 매칭이 뛰어나다고 설명한다. 이유는 뇌가 명사를 처리할 때 의미적으로 유사한 뇌파 패턴을 생성할 가능성이 있는 것으로 추정하고 있다. 텍스트와 뇌파로부터 출력 근사성을 평가하는 BLEU 알고리즈을 사용한 정확도 측정에서 결과는 0.4다. 연구팀은 이 수치를 기존 언어 번역 프로그램과 같은 0.9까지 끌어올리는 게 가능할 것으로 생각하고 있다. 관련 내용은 이곳에서 확인할 수 있다.