메타 연구자가 다양한 의문에 답을 가르쳐주는 언어 모델인 갤럭티카(Galactica)를 오픈소스로 일반 공개했다. 갤럭티카는 단순히 관련 화제 기사나 논문 링크를 대답하는 게 아니라 던져진 의문에 대한 대답을 생성해 대답 생성에 사용한 논문 인용도 제대로 제시하는 오리지널 과학 기사나 강의 노트를 만들 수 있게 해준다.
갤럭티카는 다양한 연구 논문과 참고 자료, 지식 기반 등 인류 과학 지식을 결집한 데이터세트로 훈련되고 있다. 갤럭티카는 이 모든 지식을 80GB 메모리를 가진 엔비디아 A100에서 처리할 수 있는 1,200억 파라미터 모델로 압축하고 입력 내용에 대한 답변 또는 지시된 기사를 처음부터 작성한다. 더구나 갤럭티카에서 획기적인 부분은 대답을 생각하는데 풀 수 없는 계산에 직면하면 그 자리에서 프로그램을 작성해 기존 컴퓨터로 실행한다는 점이다.
갤럭티카에 질문하면 어떤 대답이 반환되는지에 대해선 데모로 시험해볼 수 있다. 문장 뿐 아니라 필요한 수식도 문장에 표시해준다. 답변에선 설명문 외에 필요한 코드 예제 같은 것도 포함되어 있다. 관련 내용은 이곳에서 확인할 수 있다.