GPT-4o보다…고성능 추론 모델 Qwen3 발표한 알리바바

중국 알리바바가 개발하는 대규모 언어 모델(LLM) 시리즈인 Qwen3이 등장했다. Qwen3에는 2가지 혼합 전문가(MoE) 모델과 5가지 Dense 모델이 포함되어 있으며 파라미터 크기는 6억에서 2,350억까지 폭넓다.

36조 토큰을 초과하는 데이터셋으로 학습된 Qwen3 시리즈는 파라미터 크기가 작은 순으로 Qwen3-0.6B, Qwen3-1.7B, Qwen3-4B, Qwen3-8B, Qwen3-14B, Qwen3-32B, Qwen3-30B-A3B, Qwen3-235B-A22B 8개가 존재하며 Qwen3-0.6B, Qwen3-1.7B, Qwen3-4B, Qwen3-8B, Qwen3-14B, Qwen3-32B 6개가 Dense 모델, Qwen3-30B-A3B와 Qwen3-235B-A22B 2개는 MoE 모델이다.

Qwen3 시리즈 중 가장 파라미터 크기가 큰 Qwen3-235B-A22B는 파라미터 크기가 2,350억, 활성 파라미터 수는 220억이다. 코딩·수학·일반 기능 등 벤치마크 평가에서 DeepSeek-R1, o1, o3-mini, Grok-3, Gemini-2.5-Pro 같은 타사 첨단 AI 모델과 비교해도 경쟁력 있는 결과를 보여주고 있다.

Qwen3-235B-A22B가 경쟁 모델 성능을 크게 웃돌고 있는 건 아니지만 우수한 성능을 발휘한다. 다만 Qwen3-235B-A22B는 아직 일반 공개되지 않았다. 일반 공개된 Qwen3 패밀리 모델 중에서 가장 파라미터 크기가 큰 건 Qwen3-32B. Qwen3-32B는 코딩 벤치마크(LiveCodeBench)를 포함한 몇몇 벤치마크에서 오픈AI o1을 상회한다.

소형 MoE 모델인 Qwen3-30B-A3B는 파라미터 크기가 320억, 활성 파라미터 수가 30억인 모델이다. Qwen3-30B-A3B는 활성 파라미터 수가 10배인 Qwen-32B와 비교해도 더 우수한 성능을 실현하고 있다. GPT-4o와 비교해도 거의 모든 벤치마크에서 더 뛰어난 성능을 보인다.

또 Qwen3-4B(파라미터 크기 40억)와 같은 소형 모델조차 이전 세대인 Qwen2.5 패밀리에서 더 큰 파라미터 크기를 가진 Qwen2.5-72B-Instruct'(파라미터 크기 720억) 성능에 필적한다.

Introducing Qwen3!

We release and open-weight Qwen3, our latest large language models, including 2 MoE models and 6 dense models, ranging from 0.6B to 235B. Our flagship model, Qwen3-235B-A22B, achieves competitive results in benchmark evaluations of coding, math, general… pic.twitter.com/JWZkJeHWhC

— Qwen (@Alibaba_Qwen) April 28, 2025

Qwen3-30B-A3B 등 사전 학습 모델은 허깅페이스 같은 플랫폼에서 공개되어 있으며 배포에는 SGLang이나 vLLM과 같은 프레임워크 사용이 권장되고 있다.

로컬 환경에서 사용하려면 다양한 도구(Ollama, LM Studio, MLX, llama.cpp, KTransformers) 사용이 권장되며 이들을 사용하면 연구·개발·프로덕션 환경을 불문하고 Qwen3을 워크플로에 쉽게 통합할 수 있게 된다고 한다.

Qwen3 패밀리는 문제 해결을 위해 하이브리드 접근법을 도입하고 있으며 최종 답변을 내기 전 단계적으로 시간을 들여 추론을 수행하는 사고 모드와 빠르고 즉각적인 응답을 제공하는 비사고 모드라는 2가지 모드를 지원한다. 사고 모드는 더 깊은 사고가 필요한 복잡한 문제에 대한 응답에 최적이며 비사고 모드는 사고보다 속도가 중시되는 단순한 질문에 대한 응답에 적합한 모드다.

하이브리드 접근법은 프롬프트에 특수 문자(/think)나 토큰을 포함시켜 온오프를 전환할 수 있다. 기본적으로는 켜져 있으며 끄려면 ‘/no_think’라는 특수 문자를 프롬프트에 입력하면 된다. 하이브리드 접근법을 통해 Qwen3은 할당된 계산 추론 예산과 직접 연관되는 확장 가능하고 원활한 성능 향상을 실현한다. 사용자는 작업별 예산을 더 쉽게 설정할 수 있으며 이를 통해 비용 효율성과 추론 품질의 최적 균형을 달성할 수 있게 된다.

또 Qwen3은 한국어를 포함한 119개 언어와 방언을 지원한다. 이 광범위한 다국어 지원 기능은 글로벌 애플리케이션에 새로운 가능성을 가져온다.

Qwen3 모델을 코딩과 에이전트 기능에 최적화해 MCP 지원도 강화하고 있다. 또 Qwen3 패밀리 8개 모델은 모두 아파치 2.0 라이선스 하에 출시되어 있다. 관련 내용은 이곳에서 확인할 수 있다.