딥시크, 독자 기술 잇달아 오픈소스화 나서

중국에 본거지를 둔 AI 개발기업 딥시크(DeepSeek)는 지난 1월 저비용 고성능 AI 모델인 딥시크-R1(DeepSeek-R1)을 발표해 큰 주목을 받았다. 이런 딥시크가 AI 개발 관련 여러 기술을 연일 오픈소스화하고 있다.

딥시크는 2월 21일 자사는 AGI(범용 인공지능) 실현을 목표로 하는 작은 팀이라며 다음 주부터 5개 리포지토리를 오픈소스화한다면서 오픈소스 커뮤니티 일원으로서 공유하는 모든 코드가 (AGI 실현으로의) 여정을 가속화할 것이라고 믿는다며 각종 기술에 대한 오픈소스화를 선언했다. 이어 2월 24일에는 첫 번째 리포지토리가 공개됐으며 이후로도 하루에 1개씩 리포지토리가 공개되고 있다.

Day 0: Warming up for #OpenSourceWeek!

We're a tiny team @deepseek_ai exploring AGI. Starting next week, we'll be open-sourcing 5 repos, sharing our small but sincere progress with full transparency.

These humble building blocks in our online service have been documented,…

— DeepSeek (@deepseek_ai) February 21, 2025

먼저 2월 24일 연속 기획 첫 번째로 오픈소스화된 기술이 FlashMLA다. FlashMLA는 엔비디아 호퍼(Hopper) 아키텍처 기반 GPU를 위해 개발된 MLA 디코드 커널로 가변 길이 시퀀스 처리를 고속화할 수 있다. FlashMLA 리포지토리는 이곳에서 확인할 수 있다.

2월 25일에는 MoE(Mixture of Experts) 모델 트레이닝과 추론을 고속화할 수 있는 통신 라이브러리 DeepEP가 공개됐다. MoE는 여러 전문가 모델을 서브모델로 사용하고 각 서브모델 출력을 종합해 최종 결과로 출력하는 처리를 수행하는 아키텍처로 DeepEP는 서브모델 간 통신 고속화에 기여한다고 한다. DeepEP 정보는 이곳에서 확인할 수 있다.

AI 관련 계산 처리에서는 행렬의 곱셈(GEMM)이라는 처리가 빈번하게 실행된다. 이런 GEMM을 고속화할 수 있는 기술이 2월 26일 오픈소스화된 DeepGEMM이다. DeepGEMM 소스코드는 이곳에 공개되어 있다.